Google Cloud Composer: Workflows in der Cloud verwalten
Mit dem Cloud Composer startet Google einen Verwaltungdsdienst für Arbeitsabläufe, der auf dem ursprünglich von Airbnb entwickelten Apache Airflow basiert. Aktuell läuft die Betaphase.
- Björn Bohn
Google hat den Start der Beta für den Cloud Composer angekündigt. Das neue Werkzeug basiert auf Apache Airflow und soll das Erstellen und Verwalten von Arbeitsabläufen einfacher gestalten. Laut Google soll Cloud Composer die Stärken von Airflow in die Cloud-Umgebung von Google integrieren und damit den benötigten administrativen Overhead verringern.
Mit dem Cloud Composer sollen Benutzer ihre komplette Google Cloud Platform (GCP) Pipeline verwalten können. Er soll außerdem als Orchestrierungsdienst die Schnittstelle für Arbeitsabläufe sein – egal ob diese in der Cloud oder On-Premises stattfinden. Aktuell ist der Einsatz von Cloud Composer mit BigQuery, Cloud Dataflow, Cloud DataProc, Cloud Datastore, Cloud Storage und Cloud Pub/Sub möglich. Die AirFlow-Dokumentation für die Google Cloud Platform erklärt, wie die Integration genau funktioniert.
Apache Airflow – und damit auch der Cloud Composer – setzt auf Python als Programmiersprache. Die Software ist zum Erstellen und Managen von Arbeitsabläufen geeignet. Die Abläufe verwaltet Airflow beziehungsweise Cloud Composer als einen gerichteten azyklischen Graphen (DAG, Englisch für directed acyclic graph). Dieser Graph setzt sich aus Knotenpunkten zusammen, die so miteinander verbunden sind, dass keine Endlosschleifen entstehen können.
Warum Airflow als Grundlage?
Die Wahl auf Airflow als Grundlage für Cloud Composer ist Google zufolge vor allem der Quelloffenheit des Projekts geschuldet. Dadurch möchte Google gewährleisten, dass Projekte, die Benutzer mit Cloud Composer erstellen, auch in anderen Umgebungen Anwendung finden kann. Airflow stammt dabei ursprünglich von der Vermittlungsplattform Airbnb, wurde aber 2016 an Apache übergeben.
Weitere Informationen finden sich in der offiziellen Ankündigung von Google. Interessierte können die Beta aktuell kostenlos ausprobieren. Den Einstieg in die Arbeit mit AirFlow erleichtert die offizielle Dokumentation von Apache.
(bbo)
