Einstieg in MLOps, Teil 2: Mit Kubeflow und Evidently Modellendpunkte erstellen
Wurde ein ML-Modell in der Kubeflow-Pipeline trainiert, lässt sich mit KServe ein Endpunkt bereitstellen.Das Monitoring darf man nicht aus den Augen verlieren.
- Dr. Pavol Bauer
Der erste Teil der Kubeflow-Reihe hat sich damit befasst, wie man KI-Modelle von Notebooks in Kubeflow-Pipelines bringt, um komplexe ML-Workflows zu orchestrieren. Das erlaubt den schnellen Einsatz von ML-Komponenten, die sich dann in anderen Projekten wiederverwenden lassen. Obwohl Kubeflow-Pipelines beim Bereitstellen von Modellen als Teil des Gesamt-Workflows helfen können, sind sie nicht speziell konzipiert, Modelle in Echtzeit bereitzustellen. Für Deployments findet sich im Kubeflow-Baukasten jedoch ein passendes Werkzeug: KServe.
KServe, ehemals als KFServing bekannt, eignet sich ausgezeichnet, um APIs oder Endpunkte bereitzustellen, die Eingabedaten empfangen und Vorhersagen von den Modellen zurückgeben können. Für den Einsatz in Produktion gewährleistet KServe die Skalierbarkeit des Endpunkts, indem es die Anzahl der Service-Replikas reguliert. Basierend auf der aktuellen Arbeitslast weist es dem Endpoint automatisch Nodes aus dem Kubernetes-Cluster zu, wodurch das System auch in Zeiten hoher Nachfrage Antworten mit geringer Latenz gewährleistet.
Da es auf das Zusammenspiel mit den prominentesten ML-Frameworks wie PyTorch und TensorFlow ausgelegt ist, kann KServe die Endpunkte schnell erstellen. Dieses Tutorial zeigt auch, wie man eigene Modelle, die man mit weniger verbreiteten Frameworks geschrieben oder von Grund auf neu erschaffen hat, in performante Serving Endpoints umwandeln kann.
Das war die Leseprobe unseres heise-Plus-Artikels "Einstieg in MLOps, Teil 2: Mit Kubeflow und Evidently Modellendpunkte erstellen". Mit einem heise-Plus-Abo können sie den ganzen Artikel lesen und anhören.Immer mehr Wissen. Das digitale Abo für IT und Technik.
Gehälter 2024: Das verdienen Admins in Deutschland
Volvo EX30 im Test: Elektroauto mit überreichlich Power
Ein Android-Tablet zum Malen: XPPen Magic Drawing Pad im Test
Das deutsche Gasnetz: Was daraus werden soll und was Verbraucher wissen müssen
Gefährdete Router: Verkehr mit dubiosen Internetdomains verhindern
Selbstständig machen mit eigenem Softwareprojekt: GmbH oder UG gründen
Immer mehr Wissen. Das digitale Abo für IT und Technik.
Gehälter 2024: Das verdienen Admins in Deutschland
Volvo EX30 im Test: Elektroauto mit überreichlich Power
Ein Android-Tablet zum Malen: XPPen Magic Drawing Pad im Test
Das deutsche Gasnetz: Was daraus werden soll und was Verbraucher wissen müssen
Gefährdete Router: Verkehr mit dubiosen Internetdomains verhindern