CodeFlare von IBM: Schnellere ML-Pipelines in der hybriden Cloud

Das kürzlich Open Source gestellte Framework CodeFlare stammt aus dem Hause IBM. Es hat zum Ziel, die Integration und Skalierung von Big-Data- und KI-Workflows in der hybriden Cloud zu vereinfachen. Intern ist es bereits in Anwendung, und das laut IBM mit Erfolg: In einem Fall sei die benötigte Zeit für die Analyse und Optimierung von ca. 100.000 Pipelines von vier Stunden auf 15 Minuten pro Pipeline gesunken, in anderen Fällen habe CodeFlare die Entwicklungszeit um Monate verkürzt.

Serverless für Data Scientists

CodeFlare basiert auf Ray, einem Open-Source-Framework von IBM für verteiltes Rechnen im ML-Kontext, weshalb IBM es erstmals auf dem Ray Summit 2021 vorstellte. CodeFlare soll zur Vereinheitlichung von Pipeline-Workflows über verschiedene Plattformen hinweg beitragen, indem es die Fähigkeiten von Ray in Bezug auf die Skalierung von Workflows erweitert und dazu ein Python-basiertes Interface nutzt. Entwicklerinnen und Entwickler aus dem Data-Science- und KI-Bereich sollen durch CodeFlare in den Genuss der Serverless-Vorteile kommen, ohne dass sie eine neue Workflow-Sprache erlernen müssen.

Zu den weiteren Features von CodeFlare zählt die Integration mit anderen Cloud-nativen Ökosystemen durch den Einsatz von Adaptern für Event-Trigger sowie das Laden und Partitionieren von Daten aus verschiedenen Quellen wie Cloud-Objektspeichern, Data Lakes und verteilten Dateisystemen.

Grafisch dargestellt sieht das CodeFlare-Prinzip aus wie folgt:

Anwendungsbereiche und Installation

CodeFlare läuft auf jeder Plattform, die auf Kubernetes – das inzwischen im Mainstream angekommen ist – basiert. Dazu zählen die neue Serverless-Plattform IBM Cloud Code Engine und die hybride Cloud-Plattform Red Hat OpenShift. CodeFlare steht auf GitHub zur Verfügung und befindet sich in einer frühen Phase der Entwicklung, als Versionsnummer wird derzeit 0.1.1 angegeben. Weitere Features wie Pipeline-Visualisierung werden bereits geplant.

Die lokale Installation erfolgt via PyPI, sofern die folgenden Voraussetzungen erfüllt sind: Python 3.8 oder höher sowie die interaktive, webbasierte Entwicklungsumgebung JupyterLab müssen bereits installiert sein.

Alle weiteren Infos zum CodeFlare-Release bietet der IBM-Blogeintrag.

(mai)