Microsofts Hadoop-Angebot unterstützt Apache Spark

Ein naheliegender Schritt: Das zunehmend populärer werdende Framework zur Echtzeitdatenanalyse lässt sich auf Microsofts Cloud-gestützter Big-Data-Plattform Azure HDInsight einsetzen.

In Pocket speichern vorlesen Druckansicht
Azure HDInsight

Spark gesellt sich zu anderen bereits auf Azure HDInsight bereitgestellten Big-Data-Techniken wie MapReduce, Pig, Hive, HBase und Storm.

(Bild: Microsoft)

Lesezeit: 2 Min.
Von
  • Alexander Neumann

Microsofts Hadoop-Integration in der eigenen Cloud-Umgebung Azure ist nun auch auf den Einsatz mit dem Big-Data-Framework Apache Spark abgestimmt. Der unter der Bezeichnung Azure HDInsight laufende Dienst ist in Zusammenarbeit mit der Yahoo-Ausgründung Hortonworks entstanden, deren Hadoop-Distribution in HDInsight eingebunden ist.

Andere derzeit angesagte Big-Data-Techniken wie die verteilte Datenbank Apache HBase und das Echtzeit-Datenverarbeitungssystem Apache Storm werden schon länger in Azure HDInsight unterstützt. Angesichts dessen ist die Einbindung von Spark ein naheliegender Schritt gewesen. Denn das Framework zur Echtzeitdatenanalyse ist so etwas wie der neue Stern am Big-Data-Himmel.

Apache Spark ist ein quelloffenes, auf In-Memory-Verarbeitung setzendes Framework zur Berechnung auf Clustern, das seine Wurzeln in einem Projekt des AMPLab der UC Berkeley hat. Dort wurde es 2009 gestartet und ein Jahr später unter einer BSD-Lizenz veröffentlicht. 2013 kam Spark in der Apache Software Foundation unter, wo es im Februar 2014 zum Top-Level-Projekt aufstieg. Mittlerweile sehen viele in Spark den legitimen Nachfolger des Big-Data-Frameworks Hadoop.

Als typisches Szenarium für Spark auf der eigenen Cloud-orientierten Plattform sieht Microsoft etwa das Erstellen interaktiver Abfragen über große Datenmengen. Dabei kommen Business-Intelligence-Werkzeuge oder Web-gestützte Notebooks wie Apache Zeppelin und Jupyter (iPython) zum Einsatz. Des Weiteren soll das Angebot beim Erstellen von Streaming-Anwendungen und bei der Arbeit mit Machine-Learning-Algorithmen hilfreich sein. Derzeit hat Microsofts Angebot den Status einer Public Review.

(ane)