Data-Pipelines als Managed Service: Y42 eröffnet DataOps Cloud
Produktionsreife Datenpipelines und umfassende Governance verspricht der vollständig verwaltete DataOps-Dienst von Y42, der auf Snowflake und BigQuery aufsetzt.
(Bild: Daniel AJ Sokolov)
- Matthias Parbel
Der in Berlin ansässige IT-Dienstleister Y42 bringt eine neue Cloud-Plattform zum Verwalten von Data-Pipelines an den Start. Der als Modern DataOps Cloud bezeichnete Managed Service verfolgt einen No/Low-Code-Ansatz, der Data Engineers, Data Scientists sowie komplette Data-Teams in den Unternehmen auf allen Stufen vom Erstellen bis zum Produktivbetrieb ihrer Data-Pipelines unterstützen soll. Dazu setzt der Y42-Dienst auf den Data Warehouses von Snowflake sowie Googles BigQuery auf.
(Bild: Y42 )
Auf Basis eines umfassend verwalteten Data-Stacks will Y42 Unternehmen einfacher in die Lage versetzen, datengetriebene Entscheidungen zu treffen und in konkrete Maßnahmen umzusetzen – ohne auf Governance verzichten oder Einbußen bei der Kontrolle über die eigenen Daten hinnehmen zu müssen. Dazu steht Anwenderinnen und Anwendern der DataOps Cloud eine Data-Governance-Suite bereit – abgesichert durch eine mehrstufige Zugriffskontrolle. Sie enthält den Datenkatalog und erlaubt das Management von Asset Ownership und Datenverträgen. Eine auf Git basierende Versionskontrolle stellt die Konsistenz der Data-Pipelines sicher – insbesondere bei der gemeinsamen Arbeit verschiedener Teams.
Von der Datenquelle bis zur analytischen Anwendung
Um Daten aus sämtlichen Quellen und Anwendungen im Unternehmen in die Data-Pipelines zu überführen, können Data Engineers auf die Open Source Data Integration Platform Airbyte zurückgreifen. Vorkonfigurierte Templates sollen sowohl die Auswahl vereinfachen als auch das Laden umfangreicher Datensätze beschleunigen. Für die weiteren ETL-Schritte (Extract, Transform, Load) nutzt die DataOps Cloud unter anderem dbt Core, um möglichst schnell standardisierte SQL-Abfragen durchführen zu können. Die vorbereiteten Daten lassen sich anschließend von Datenanalysten in BI-Tools und andere Datenanwendungen überführen oder auch zur Visualisierung der Erkenntnisse für Entscheidungsträger im Unternehmen aufbereiten. Zugriff auf den kompletten Data-Stack erhalten Anwenderinnen und Anwender dabei wahlweise über eine Kommandozeile, APIs oder eine von Y42 bereitgestellte Web-App.
Mehr Details sowie einen kompletten Überblick der verfügbaren Funktionen in der DataOps Cloud finden sich im Blogbeitrag von Firmenchef Hung Dang sowie auf der Y42-Website. Wer den kostenpflichtigen Service zunächst kennenlernen möchte, kann sich dort für eine Demo registrieren.
(map)