ML- und Daten-Pipelines: Flyte 0.19 liefert mehr Leistung für größere Workflows
Mit weiteren UI-Verbesserungen bereitet das Update der Orchestrierungsplattform auf das erste Major Release im zweiten Quartal 2022 vor.
(Bild: Dabarti CGI/Shutterstock.com)
- Matthias Parbel
Das Entwicklerteam hinter der Cloud-nativen Workflow-Orchestrierungsplattform Flyte hat mit Version 0.19.0 den ersten Meilenstein für das laufende Jahr vorgelegt. Mit verschiedenen Verbesserungen rund um das UI sowie das zentrale Task- und Workflow-System soll das Update auf die geplante Veröffentlichung des ersten Major Release von Flyte im zweiten Quartal vorbereiten.
Letzter Meilenstein vor dem Major Release
Das ursprünglich von der Engineering-Abteilung des US-amerikanischen Fahrdienstvermittlers Lyft entwickelte Tool, mit dem sich Arbeitsabläufe und Aufgaben für Machine-Learning- und Daten-Pipelines in beliebigen Programmiersprachen beschreiben lassen, bewährt sich seit knapp einem Jahr als Open-Source-Projekt im Inkubator der LF AI & Data Foundation.
Die mit Flyte 0.18.2 begonnenen Umbauarbeiten, die darauf abzielen, die Workflow-Orchestrierungsplattform leichter und effizienter bedienen und nutzen zu können, will das Team laut Ankündigung nun so weit abgeschlossen haben, dass Anwenderinnen und Anwendern ab Flyte 1.0 ein vollständig neu gestaltetes UX-Design zur Verfügung steht. Die jüngsten Neuerungen an der Flyte Console, über die sich Workflows, Tasks und Executions verwalten lassen, umfassen unter anderem die Möglichkeit Google Analytics einzubinden und im Startformular für neue Workflows security context zu konfigurieren.
SDKs für Python, Java und Scala
Während sich die Arbeitsabläufe und Aufgaben für ML- und Daten-Pipelines grundsätzlich in beliebigen Programmiersprachen erstellen lassen, liefert Flyte bisher lediglich SDKs für Python, Java und Scala mit. Das in Version 0.26.0 vorliegende Flytekit Python steuert neue Funktionen bei, mit denen sich beispielsweise über den Parameter cache_serialize verhindern lässt, dass zwei gecachte Tasks zur gleichen Zeit ausgeführt werden. Anstatt "" in Typ-Hinweisen nutzen zu müssen, lassen sich Annotationen nun auch durch Einfügen von from __future__ import annotations am Beginn des Codes für eine Workflow-Beschreibung verzögern.
Um auch die Workflows komplexer ML- und Daten-Pipelines weitestgehend gleichzeitig und mit hoher Skalierbarkeit abwickeln zu können, baut Flyte auf einer Fabric auf, die unterschiedliche Compute-Backends über einen typsicheren Datenabhängigkeitsgraphen verbindet. Sämtliche Änderungen an einer Pipeline werden aufgezeichnet, sodass sich jederzeit Arbeitsschritte zurücksetzen lassen. Für Flyte 0.19.0 hat das Entwicklerteam weiter an der Verbesserung von Zuverlässigkeit und Leistung des zugrundeliegenden Systems gearbeitet. Insbesondere die Performance beim Übergang zwischen den Knoten soll sich spürbar steigern.
Einen Überblick sämtlicher Neuerungen in Flyte 0.19.0 findet sich in den Release Notes im GitHub-Repo des Projekts. Weitergehende Informationen zur Workflow-Orchestrierungsplattform bietet die Flyte-Website.
(map)