Nächste Hadoop-Generation erreicht Beta-Status
Apache Hadoop 2.x ist die Überarbeitung des Big-Data-Frameworks vor dem Hintergrund, dass sich die Anforderungen an Flexibilität und Verfügbarkeit verändert haben. Mit der Beta-Version steht auch die finale Freigabe der nächsten Generation kurz bevor.
- Alexander Neumann
Mit der Veröffentlichung von hadoop-2.1.0-beta hat der 2.x-Release-Strang des unter dem Dach der Apache Software Foundation entwickelten Big-Data-Frameworks den Sprung zur Beta geschafft. Das bedeutet offenbar, dass auf dem Weg hin zu einer fertigen Version der nächsten Hadoop-Generation innerhalb der nächsten Wochen nur noch kleinere Fehler zu beseitigen sind. Diese soll dann als Hadoop 2.2.0 über die Ziellinie gehen.
Das in Java geschriebene Big-Data-Framework wurde speziell zur Entwicklung skalierbarer, verteilter Anwendungen zur Analyse großer Datenmengen ausgelegt. Es implementierte den von Google entwickelten MapReduce-Algorithmus. Dabei werden Daten über die Knoten eines Hadoop-Clusters verteilt redundant gespeichert, die Analyseprogramme laufen parallel auf allen Knoten und analysieren die jeweils dort vorgehaltenen Daten.
Hadoop 2 entsteht nun vor dem Hintergrund, dass sich die Anforderungen und Erwartungen an Flexibilität und Verfügbarkeit von Unternehmen wie Facebook oder Twitter gegenüber dem Zeitraum der Entstehung des Frameworks 2005 massiv verändert haben. Die neue Generation von Hadoop enthält deswegen die neue MapReduce-Implementierung YARN. Die neue Architektur ist insofern flexibel, dass sie keine reine MapReduce-Ablaufumgebung mehr ist. MapReduce ist nur noch eine Möglichkeit, andere, verteilte und nicht verteilte Programme sind demnach im Hadoop-Cluster genauso willkommen.
Mit der Freigabe der Beta-Version sind die Entwickler nun zuversichtlich, dass Anwendungen auf Basis des HDFS (Hadoop File System) kompatibel mit YARN-Anwendungen sind. Außerdem haben sie die Grundlage dafür geschaffen, dass sich Hadoop 2.x binärkompatibel zu MapReduce-Anwendungen verhält, die mit dem derzeit stabilen Hadoop 1.x gebaut werden. Zusätzlich ist es mittlerweile möglich, Hadoop-Anwendungen mit Windows Server und Windows Azure zu betreiben. Weitere Neuerungen sind zudem die NFSv3-Unterstützung für HDFS und neue Client-Bibliotheken für YARN-Entwickler. (ane)
