Spark ist vollwertiges Apache-Projekt

Apache Spark hat die Weihen eines sogenannten Top-Level-Projekts der Apache Software Foundation erhalten. Im Rahmen des Projekts wird ein Scala-Framework zur Echtzeitdatenanalyse entwickelt, das vorrangig im Umfeld von HDFS- oder NFS-Installationen (Hadoop File System/Network File System) eingesetzt werden kann. Ihm wird nachgesagt, durch das ihm zugrunde liegende In-Memory-Modell deutlich schneller als Hadoops MapReduce-Implementierung Daten abfragen und analysieren zu können.

Ursprünglicher Entwickler von Spark ist das AMPLab der University of California in Berkeley, wo das Framework 2009 erstmals in Erscheinung trat, bevor es 2010 zum Open-Source-Projekt wurde. Intel und Yahoo sind zwei große Unternehmen, die das Framework bereits einsetzen. Erst kürzlich hatte Cloudera kommerziellen Support für Spark im Rahmen seiner Hadoop-Distributionen angekündigt. (ane)