Big Data: Apache Falcon zum Top-Level-Projekt aufgestiegen
Falcon wurde 2013 in den Incubator der Apache Software Foundation aufgenommen. Das Projekt ist als Software zum Bearbeiten und Verwalten von Daten in Zusammenarbeit mit Apache Hadoop angelegt.
- Julia Schmidt
Apache Falcon hat die Weihen eines Top-Level-Projekts erhalten, was bedeutet, dass seine Organisation den meritokratischen Prozess und die Prinzipien der Software Foundation anerkennt und ihnen entsprechend handelt. Das Projekt ist eine Datenverwaltungsplattform für Apache Hadoop und kommt unter anderem bei Hortonworks, Talend und anderen Unternehmen aus dem Big-Data-Bereich zum Einsatz.
Falcon-Nutzer können wohl Infrastruktur-Endpunkte wie Hadoop-Cluster oder Datenbanken, Datensätze wie Zugriffsregelungen und Bearbeitungsregeln deklarativ festlegen, wobei Abhängigkeiten zwischen Einheiten explizit in der Konfiguration festzuhalten sind. Letztgenannte Informationen nutzt das Programm dann laut Projektbeschreibung zum Orchestrieren und Verwalten unterschiedlicher Managementfunktionen.
Intern greift es auf einen Abhängigkeitsgraph zu, der operative Einheiten und Zusammenhänge speichert. Sie werden dann auf Anweisung des Nutzers hin dazu verwendet, eine Workflow-Definition für die aktuelle Aufgabe zu erstellen und sie bei einem Workflow Scheduler wie Apache Oozie einzutragen. Der Workflow enthält immer auch einen Benachrichtigungsmechanismus, der Falcon über Erfolg oder Abbruch der geplanten Aktion informiert, sodass das System entsprechende weiterführende Maßnahmen einleiten kann.
Das zuvor als Ivory bekannte Projekt Falcon steht aktuell in Version 0.6 zur Verfügung. Weitere Informationen zum Einsatz und der Vorgehensweise lassen sich auf der entsprechenden Webseite einsehen. (jul)
