GitLab schickt Meltano ins DataOps-Rennen
Als eigenständiges Open-Source-Projekt soll Meltano eine Datenintegrationsplattform schaffen, die den kompletten Data Lifecycle abdeckt.
(Bild: Stefan Schurr/Shutterstock.com)
Die Anbieter hinter dem Versionsverwaltungsdienst GitLab haben die Ausgliederung von Meltano bekanntgegeben. Als Open-Source-Start-up und ausgestattet mit einer Anschubfinanzierung von 4,2 Millionen US-Dollar soll sich Meltano als offene Plattform für die Datenintegration etablieren. In Anlehnung an die aus der Softwareentwicklung vertrauten DevOps-Prinzipien will Meltano auch Daten-Teams die Arbeit über den gesamten Data Lifecycle hinweg vereinfachen – wie der als Akronym angelegte Firmenname andeutet, der sich aus Modell, Extrahieren, Laden, Transformieren, Analysieren, Notebook und Orchestrieren zusammensetzt.
Open-Source-ELT-Plattform
GitLab-Entwickler hatten das Projekt vor drei Jahren intern als ELT-Plattform (Extract, Load, Transform) gestartet, um auch in Data-Science-Projekten Werkzeuge zur Versionskontrolle, Continuous Integration (CI), Continuous Delivery (CD) und zum Review verfĂĽgbar zu machen. Dazu kombiniert Meltano unter anderem den Singer-Standard zum Bewegen von Daten samt dessen Bibliothek mit ĂĽber 200 von der Community gepflegten Konnektoren mit dem Datentransformationswerkzeug dbt und Apache Airflow fĂĽr die Orchestrierung.
Da Meltano von Beginn an unabhängig von der zuletzt in Version 14 erschienenen GitLab-Software angelegt war, steht die Datenintegrationsplattform allen Data Engineers, Data Scientists bis hin zu Business-Analysten offen. Es soll ihnen helfen, die unterschiedlichen Tools zu integrieren und deren Konfiguration und Einsatz in verschiedenen Umgebungen in einem zentralen DataOps-fähigen Projekt-Repository konsistent zu verwalten. Das von einer Investorengruppe zur Verfügung gestellte Kapital will Meltano-CEO Douwe Maan nutzen, um die Tools und Fähigkeiten der Plattform sukzessive zu erweitern. Neben weiteren Datenkonnektoren sollen Meltano-Anwenderinnen und -anwender künftig auch zu Visualisierungszwecken auf Apache Superset und Metabase zurückgreifen können. Darüber hinaus soll auch der Support für weitere Orchestrierungstools wie beispielsweise Dagster oder Prefect folgen.
Weitere Details zur Ausgliederung und strategischen Ausrichtung von Meltano bietet der Blogbeitrag von CEO Maan. Nähere Informationen zur Open-Source-ELT-Plattform finden sich auf der Homepages des Projekts.
(map)