Apache Airflow wird zum Top-Level-Projekt

Nach zweieinhalb Jahren Aufenthalt im Apache Incubator ist Apache Airflow zum vollwertigen Projekt der Open-Source-Organisation aufgestiegen. Das Workflow-Management-System für Big-Data-Projekte ist bei Airbnb entstanden und vom Reiseunterkunftsmarktplatz im Mai 2016 an die Apache Software Foundation übergeben worden. Im Apache Incubator musste sich das Projekt bewähren, dass seine Entwicklung gemäß den Prinzipien der Foundation verläuft. Airflow kommt bei Unternehmen wie Adobe, Etsy, Google, ING, Lyft, PayPal, Reddit, Square, Twitter und United Airlines zum Einsatz.

Mit dem Workflow-Management-System lassen sich Arbeitsabläufe programmatisch erstellen und verwalten. Die Aufgaben verwaltet das Werkzeug als DAGs (Directed Acyclic Graph). Das DAG-Modell besteht aus Knoten, die miteinander so verbunden sind, dass es keine Endlosschleifen geben kann. Jede Verbindung ist eine Einbahnstraße, und das Modell ist dergestalt angeordnet, dass der Weg von einem Knoten im späteren Verlauf nicht wieder zu ihm zurückführen kann.

Ein Scheduler führt die Aufgaben aus und richtet sich dabei nach den von Entwicklern angelegten Bedingungen. Die Programmierer definieren die Pipelines als Python-Code. Der programmatischen Ansatz bietet eine offenbar einfache Möglichkeit, die Pipelines dynamisch zu erstellen. Ein grafisches Benutzerinterface gibt schließlich eine Übersicht über die Pipelines, den Ablauf und Fehlermeldungen. (ane)