Machine Learning: Googles Vertex Pipelines sind nun allgemein verfügbar

Google hat die allgemeine Verfügbarkeit der Vertex Pipelines bekannt gegeben. Damit möchte das Unternehmen Entwicklerinnen und Entwickler bei der Arbeit mit Pipelines für Machine Learning (ML) unterstützen.

Für das Skalieren von ML-Workflows kommen unter anderem Pipelines zum Einsatz. Einzelne Arbeitsschritte finden sich als eine Reihe von einzelnen Komponenten wieder, und die Schritte in der Pipeline lassen sich als Container abbilden. Die jeweilige Ausgabe eines Schritts kann die Eingabe für den nächsten Schritt sein. Mit der Umsetzung sind laut Blogbeitrag zwei Herausforderungen verbunden: Einzelne Pipeline-Schritte sollten sich in Container umwandeln lassen, was wiederum das Einrichten einer Infrastruktur erfordert, um eine Pipeline in großem Umfang auszuführen.

Support für Kubeflow Pipelines und TensorFlow Extended

Hier setzt Vertex Pipelines an und bietet Unterstützung für die Bibliotheken Kubeflow Pipelines (KFP) und TensorFlow Extended (TFX), die für Entwicklerinnen und Entwickler das Überführen von Pipeline-Schritten in Container und die Verwaltung der Eingabe- und Ausgabeartefakten in der gesamten Pipeline übernehmen. Mit der Bibliotheken können Nutzerinnen und Nutzer ihre Pipelines über eine dieser Libraries definieren und im Anschluss auf den Vertext Pipelines ausführen.

Googles Angebot arbeitet als Serverless-Anwendung, was Entwickler von der Notwendigkeit befreit, eine eigene Infrastruktur bereitstellen zu müssen. Wenn Nutzer ihre KFP- oder TFX-Pipelines hochladen und ausführen, übernimmt Vertex AI die Bereitstellung und Skalierung der Infrastruktur für die Ausführung der Pipeline. Nutzer zahlen somit lediglich für die Ressourcen, die verwendet werden, während die Pipeline läuft.

Vorgefertigte Bibliothek mit Komponenten steht bereit

Darüber hinaus lassen sich die Vertex Pipelines mit weiteren Werkzeugen in Vertex AI und Google Cloud integrieren. Entwickler erhalten die Möglichkeit innerhalb der Vertex Pipeline, Daten aus BigQuery zu importieren, Modelle mit Vertex AI zu trainieren, Pipeline-Artefakte in Cloud Storage zu speichern, Metriken zur Modellbewertung abzurufen und Modelle an Vertex AI-Endpunkte bereitzustellen. Das Entwicklerteam hinter den Vertex Pipelines stellt Nutzern eine Bibliothek mit vorgefertigten Komponenten zur Verfügung, die die Verwendung vereinfachen soll.

Eine umfassende Dokumentation sowie der Beitrag auf dem Google Cloud Blog bieten weitere Informationen zu Vertex Pipelines.

(mdo)