Hadoop 1.0 ist fertig

Version 1.0 des "Big Data"-Frameworks bringt Verbesserungen bei der Hadoop-Datenbank HBase sowie die Möglichkeit, über HTTP auf das Hadoop-Dateisystem HDFS zuzugreifen.

In Pocket speichern vorlesen Druckansicht 13 Kommentare lesen
Lesezeit: 1 Min.
Von
  • Dr. Oliver Diedrich

Die Entwickler von Apache Hadoop haben die Version 1.0 des "Big Data"-Frameworks veröffentlicht. Hadoop 1.0 entstammt dem Security-Branch 0.20 von Hadoop und ist der Nachfolger der Version 0.20.205; das kürzlich veröffentlichte erste Release von Hadoop 0.23, das eine neue Map-Reduce-Imlementierung mitbringt, soll zu Hadoop 2 werden.

Zu den Neuerungen gehören die Kerberos-basierte Nutzerauthentifizierung, Verbesserungen bei der auf Hadoop aufsetzenden verteilten Datenbank HBase und Performanceverbesserungen. Mit Webhdfs ist es jetzt möglich, über HTTP auf das Hadoop-Dateisystem HDFS zuzugreifen – quasi eine HTTP-API für Hadoop. Weitere Details nennen die Release Notes.

Hadoop ist ein freies Framework unter Apache-2-Lizenz zur Entwicklung skalierbarer, verteilter Anwendungen zur Analyse großer Datenmengen (Big Data) auf der Grundlage des von Google entwickelten MapReduce-Algorithmus. Daten werden über die Knoten eines Hadoop-Clusters verteilt redundant gespeichert, die Analyseprogramme laufen parallel auf allen Knoten und analysieren die jeweils dort vorgehaltenen Daten. Die Apache-Software ist Grundlage diverser Hadoop-Distributionen, wie sie beispielsweise HortonWorks und Cloudera anbieten, sowie verschiedener kommerzieller Big-Data-Angebote unter anderem von IBM. Zahlreiche Anwender haben Hadoop-basierte Lösungen im Produktiveinsatz. (odi)