Apache Beam wird zum Top-Level-Projekt
Das aus Googles Cloud Dataflow SDK hervorgegangene Projekt verlässt die Incubator-Phase bei der Apache Software Foundation. Gleichzeitig steigt auch die Big-Data-Analyse-Software Apache Eagle zum Top-Level-Projekt auf.
- Rainald Menge-Sonnentag
Im Februar 2016 hatte Google das erweiterte SDK von Cloud Dataflow der Apache Foundation als Open-Source-Projekt übertragen, das unter dem neuen Dach unter dem Namen Apache Beam die Incubator-Phase startete. Den Vorschlag zur Überführung unterstützten Firmen wie Cask, Cloudera, Data Artisans, PayPal und Talend. Nun hat das Projekt die während der Incubator-Phase stattfindende Bewertung gemeistert und ist zum Top-Level-Projekt aufgestiegen.
Auch wenn das SDK ursprünglich nur auf die Zusammenarbeit mit Google Cloud Dataflow ausgelegt war, folgten bald erste Anbindungen für Apache Spark und Flink. Inzwischen existiert zusätzlich eine Anbindung an Apache Apex. Offensichtlich ist Beam zu einem echten Community-Projekt geworden. So entstanden laut einem Blogbeitrag 10 der insgesamt gut 20 Module nahezu ohne Googles Mitwirkung.
Nachfolger für MapReduce als einheitliche API
Apache Beam soll eine einheitliche API für unterschiedliche Plattformen liefern. Googles ursprüngliche Motivation war die Entwicklung eines Nachfolgers für MapReduce. Derzeit existiert ein Java SDK, ein weiteres für Python befindet sich in Entwicklung.
Weitere Details finden sich in den Blogbeiträgen bei Apache und Google. Eine Matrix gibt eine Übersicht über die sogenannten Runners zur Anbindung an Google Cloud Data Flow, Apache Flink, Spark, Apex sowie für lokale Tests mit den entsprechenden Funktionen. Darüber hinaus haben die Projektbetreiber zahlreiche Vorträge zusammengetragen. Apache Beam ist über die Download-Seite zum Herunterladen verfügbar, die einen Verweis auf das Maven Central Repository enthält.
Adlerauge für Big-Data-Projekte
Parallel zu Apache Beam hat die Open-Source-Oraganisation Apache Eagle zum Top-Level-Projekt gekürt. Die Analysesoftware soll beim Auffinden von Schwachstellen in Big-Data-Plattformen helfen, die zu Sicherheitslücken oder Performance-Engpässen führen können. Eagle befand sich seit Oktober 2015 in der Incubator-Phase und kommt unter anderem bei Ebay und PayPal zum Einsatz. (rme)
