Open-Source-Scheduler Apache YuniKorn erreicht 1.0 und wird Top-Level-Projekt

Inhaltsverzeichnis

Die Apache Software Foundation hat für den quelloffenen Resource Scheduler YuniKorn die Veröffentlichung von Version 1.0 und die Aufnahme in die Liste der Top-Level-Projekte mitgeteilt. Die erste Hauptversion markiert einen stabilen Stand, und mit der Ernennung zum Top-Level-Projekt erklärt die Foundation, dass das Projekt ihre Anforderungen an reife Open-Source-Software erfüllt. Das Einhorn ist bereits im März aufgestiegen, aber die Stiftung hat die Ankündigungen nun zusammengelegt.

Ressourcenplanung für große Datenmengen

YuniKorn ist ein Resource Scheduler für Machine-Learning- und Big-Data-Anwendungen. Er zielt vor allem auf lange laufende Services und Batch-Jobs in umfangreichen verteilten Systemen. YuniKorn ist sowohl auf Cloud-native Anwendungen als auch auf Cluster im Rechenzentrum ausgelegt und bietet eine direkte Integration in Kubernetes.

Als Besonderheit gegenüber anderen Werkzeugen wie dem Kubernetes-eigenen Scheduler kube-scheduler verwaltet YuniKorn nicht nur die Verteilung der einzelnen Pods, sondern kennt und nutzt den Kontext der Ressourcen wie der zugehörigen User, Anwendungen und Queues.

Außerdem bietet der Scheduler hierarchische Ressourcenwarteschlangen, die sich der Struktur einer Organisation anpassen lassen und für unterschiedliche Mandanten (Tenants) spezifische Quota ermöglichen. Für Cloud-Anwendungen soll YuniKorn die Fragmentierung der Workloads über Gang Scheduling minimieren, mit Bin-Packing die Verteilung optimieren und dadurch die Kosten reduzieren.

Das Wortspiel-Einhorn

Der Hadoop-Pionier Cloudera hat YuniKorn 2019 entwickelt und im Januar 2020 der Apache Software Foundation übergeben. Nach der obligatorischen Inkubationsphase gilt es nun als ausgereiftes Top-Level-Projekt.

Der Name, der wie das englische Wort Unicorn für das im Projektlogo gezeigte Einhorn ausgesprochen wird, spielt auf die beiden ursprünglich von Cloudera mit dem Scheduler angesprochenen Systeme YARN (Yet Another Resource Negotiator) aus dem Hadoop-Universum auf der einen und Kubernetes auf der anderen Seite an. Das "uni" zwischen dem "Y" und dem "K" ist ein Kürzel für "unified", also einheitlich.

Feinschliff zur ersten Hauptversion

Version 1.0 ist das fünfte Release unter dem Dach der Apache Software Foundation. Es bringt Optimierungen beim Speicherbedarf und den benötigten CPU-Ressourcen sowie erweiterte Metriken und Diagnoseinformationen mit. Darüber hinaus führt die erste Hauptversion ein neues Deployment-Modell ein, das auf künftige Upgrades vorbereitet ist. Der ebenfalls neue Plug-in-Modus ist derzeit noch als Technical Preview gekennzeichnet.

Weitere Details lassen sich dem Blog der Apache Software Foundation entnehmen.

(rme)