Airbnb-Projekt Airflow soll bei Apache landen
Die Worfklow-Management-Plattform Airflow besitzt jetzt Incubator-Status bei Apache. Die Software ermöglicht die programmatische Definition von Arbeitsabläufen mit Python.
- Rainald Menge-Sonnentag
Knapp ein Jahr nach der Veröffentlichung des Quellcodes von Airflow durch Airbnb ist die Software nun ein Incubator-Projekt bei der Apache Software Foundation. Mit Airflow lassen sich Arbeitsabläufe programmatisch erstellen und verwalten. Die Aufgaben verwaltet das Werkzeug als DAGs (directed acylic graph). Das DAG-Modell besteht aus Knoten, die miteinander in der Weise verbunden sind, dass es keine Endlosschleifen geben kann. Jede Verbindung ist eine Einbahnstraße, und das Modell ist so angeordnet, dass der Weg von einem Knoten im späteren Verlauf nicht wieder zu ihm zurückführen kann.
Python zur Definition
Der Scheduler führt die Aufgaben aus und richtet sich dabei nach den von Entwicklern angelegten Bedingungen. Entwickler definieren die Pipelines als Python-Code. Der programmatischen Ansatz bietet eine einfache Möglichkeit, die Pipelines dynamisch zu erstellen. Ein grafisches Benutzerinterface gibt eine Übersicht über die Pipelines, den Ablauf und Fehlermeldungen.
(Bild: Airbnb)
Airflow verwaltet den Ablauf, jedoch nicht die Daten. Die Projektseite auf GitHub grenzt die Software damit beispielsweise von Spark und Storm ab und vergleicht sie mit Azkaban und Apache Oozie. Wer sich näher mit Airflow beschäftigen möchte, findet ein Tutorial und ein frisch auf dem Apache-Server aufgesetztes Wiki.
(rme)
