Cloud-native Observability-Plattform: Azure stellt Retina Open Source
Kosteneffizientere Machine-Learning-Workloads sowie das Open-Source-Stellen von Retina zählen zu den aktuellen Azure-Neuerungen.
(Bild: Konstantin Yolshin/Shutterstock.com)
- Maika Möbus
Im Rahmen der KubeCon + CloudNativeCon Europe 2024 der Cloud Native Computing Foundation (CNCF) in Paris stellte Microsoft sein Open-Source-Projekt KAITO vor – Kubernetes AI Toolchain Operator. Das darauf basierende verwaltete Add-on KAITO für Azure Kubernetes Service (AKS) soll das Ausführen spezialisierter Machine-Learning-Workloads in Microsofts Cloud-Dienst kosteneffizienter gestalten und weniger manuelle Konfiguration erfordern. Daneben steht die Cloud-native Networking-Observability-Plattform nun Open Source bereit.
Automatisierte LLM-Deployments in Kubernetes-Clustern
Bei KAITO handelt es sich um einen Operator, der KI/ML-Inferenzmodell-Deployments in einem Kubernetes-Cluster automatisiert. Laut dem GitHub-Repository des Open-Source-Projekts sind die Zielmodelle quelloffene große Inferenzmodelle wie Falcon und Llama 2. Das Onboarding großer KI-Inferenzmodelle soll der Operator unter anderem durch das Hosten großer Modell-Images in der öffentlichen Microsoft Container Registry (MCR) vereinfachen, sofern die Lizenz es erlaubt. Auch sorgen auf die GPU-Hardware abgestimmte, vorgefertigte Konfigurationen dafür, dass ein Tuning der Deployment-Parameter entfällt.
Große Sprachmodelle einfacher und kostengünstiger auf AKS ausführen
Das neue Add-on KAITO für AKS ist nun als Preview verfügbar und erlaubt das Verwenden der KAITO-Fähigkeiten in Azure Kubernetes Service. Der Operator soll das Deployment großer Sprachmodelle über GPU- und CPU-Ressourcen hinweg automatisieren, indem er die optimale Größe der Infrastruktur für das jeweilige Modell wählt.
Durch das Add-on lässt sich das Inferenzieren zudem auf multiple virtuelle Maschinen (VMs) mit niedriger GPU-Zahl aufteilen. Somit erhöht sich die Anzahl der Azure-Regionen, in denen Workloads ausgeführt werden können, was Wartezeiten für Virtual Machines mit höherer GPU-Zahl verhindern und demnach die Gesamtkosten verringern soll. Vorgefertigte Modelle mit AKS-gehosteten Images stehen ebenfalls zur Auswahl bereit.
Die Installation des Add-ons setzt unter anderem einen Azure-Account und die Azure CLI in Version 2.47.0 oder höher voraus. Weitere Details finden sich in der Ankündigung des Add-ons, im GitHub-Repository für KAITO und bei Microsoft Learn.
Observability-Plattform Retina ist jetzt Open Source
Eine weitere Ankündigung zu Cloud-Technologie findet sich auf Microsofts Azure-Blog: Das Unternehmen hat für Retina ein Open-Source-Repository bereitgestellt. Die Cloud-native Networking-Observability-Plattform richtet sich an Kubernetes-User, -Admins und -Entwickler. Sie dient dem Visualisieren, Beobachten, Debuggen und Analysieren von Kubernetes-Workload-Traffic, unabhängig von Container Network Interface (CNI), Betriebssystem und Cloud-Anbieter.
Lesen Sie auch
Modernes Monitoring: Observability als Denkweise
Eines der Schlüsselfeatures von Retina soll laut dem Entwicklungsteam darin liegen, dass es tiefe Einblicke in den Netzwerk-Traffic anbietet, die Layer-4- und DNS-Metriken sowie das Beobachten von im Netzwerk verteilten Paketen einschließt. Dabei soll sich die Multi-Cloud-Plattform durch das Anbieten von Metriken auf Pod-Level mit detailliertem Kontext nahtlos in das Kubernetes-App-Modell einfügen. Networking-Observability-Daten werden im Industriestandard als Prometheus-Metriken bereitgestellt.
Eine Einführung zu Retina bietet weitere Informationen zu der nun quelloffen verfügbaren Plattform.
(mai)