Tez zum Apache-High-Level-Projekt aufgestiegen
Apache Tez erweitert die MapReduce-Implementierung von Hadoop, sodass sich damit auch DAG-Prozesse umsetzen lassen. Dadurch können Apache-Projekte wie Pig und Hive schnelle Antwortzeiten liefern mit Daten im Petabyte-Bereich zurechtkommen.
- Alexander Neumann
Apache Tez ist die jüngste Technik aus dem Bereich Big Data, die die Weihen eines Top-Level-Projekts der Apache Software Foundation erhalten hat. Es handelt sich dabei um ein erweiterbares und in Apache Hadoop YARN (Yet Another Resource Negotiator) zu verwendendes Framework zum Entwickeln von Tools zum Analysieren von Batch-Prozessen und Anwendungen mit interaktiven Anwendungen.
Tez nutzt die MapReduce-Fähigkeiten des Big-Data-Frameworks insofern, dass sich damit auch DAG-Prozesse (Directed Acyclic Graph) umsetzen lassen. Mit Tez können andere Hadoop-Projekte wie Hive und Pig oder Software von Drittanbietern die Datenverarbeitungslogik einer YARN-Anwendung so aufsetzen, dass sie Anforderungen wie schnelle Reaktionszeiten und hoher Datendurchsatz im Petabyte-Bereich gerecht wird.
Ursprünglicher Entwickler von Tez ist der Hadoop-Distributor Hortonworks, der das Projekt im Februar 2013 in den Apache Incubator eingebracht hatte und in einem Blog-Eintrag beschreibt, was die Graduierung zum Top-Level-Projekt für Tez bedeute. Mittlerweile haben aber auch andere Unternehmen wie Cloudera, Facebook, LinkedIn, Microsoft, Twitter und Yahoo zum Projekt beigetragen. Anwender des Frameworks sind laut der Open-Source-Organisation unter anderem Microsoft, die NASA, Netflix und Yahoo. (ane)
