Apache Hadoop goes Enterprise

Rund tausend Teilnehmer des 3. Hadoop Summit in Santa Clara sind Ausdruck für die steigende Popularität und Bedeutung, die das Framework Apache Hadoop unter Entwicklern genießt. Die vorigen Ausgaben der Konferenz verzeichneten 300 (2008) und 600 (2009) Besucher. Der nächste große Schritt für das 2005 von Yahoo begründete und 2006 an die Apache Software Foundation (ASF) übergebene Framework scheint darin zu bestehen, mehr Marktreife zu erhalten. Dafür sprechen einige Ankündigungen, die jetzt getätigt wurden.

Hadoop erleichtert die Entwicklung von verteilt laufenden Anwendungen, die umfangreiche Berechnungen auf großen Datenmengen durchführen. Die Open-Source-Software implementiert Googles MapReduce-Algorithmus und ist unter anderem bei Amazon, AOL, Facebook sowie der Suchmaschine von Yahoo im Einsatz.

Yahoo, das eigenen Angaben zufolge 38.000 Hadoop-Webserver am Laufen hat, hat zwei Produkte angekündigt, zum einen mit "Hadoop with Security" eine Integration mit dem Authentifizierungsdienst Kerberos, die einen sicheren Zugang und eine sichere Abwicklung von geschäftsrelevanten Daten ermöglicht. Zum anderen mit Oozie eine als Open Source verfügbare Workflow-Technik, mit der sich die sogenannten Jobs auf Hadoop-Installationen verwalten lassen. Darin enthalten sind Hadoop Distributed File System (HDFS), die "Highlevel-Sprache" Pig und die MapReduce-Implementierung, Oozie ist mit dem "Hadoop with Security"-Paket integriert.

Von dem Hadoop-Dienstleister Cloudera gibt es jetzt eine Enterprise-Variante der im März vorgestellten als Open Source verfügbaren Cloudera Distribution for Hadoop (CDH). Für das kostenpflichtige Cloudera Enterprise bekommt man auf Abonnementbasis zusätzliche Werkzeuge für das Monitoring, Verwalten und Administrieren von Hadoop-Installationen sowie Dienstleistungen. Die ebenfalls neu angekündigte Version 3 von CDH unterstützt eine Art Standard für Datenmanagementplattformen auf Basis von Hadoop.

Siehe dazu auch:

• Datenverarbeiter und Datenverarbeiter #2, Artikel über die Verarbeitung großer verteilter Datenmengen mit Hadoop auf heise Developer

(ane)