Verteiltes Datenverarbeiten: Open-Source-Projekt Ray 1.0 bietet Serverless-API

Mit dem Framework lassen sich Datenverarbeitungsprozesse über mehrere Rechner, Cluster und Clouds verteilen, skalieren und automatisiert verwalten.

In Pocket speichern vorlesen Druckansicht
Verteiltes Datenverarbeiten: Open-Source-Projekt Ray 1.0 bietet Serverless-API

(Bild: Connect world/Shutterstock.com)

Lesezeit: 2 Min.
Von
  • Silke Hahn

Das Start-up Anyscale hat die erste Major-Version seines Projekts Ray herausgebracht. Ray 1.0 ist ein Framework für verteiltes Programmieren, das skalierbar sein soll für komplexe, groß dimensionierte Aufgaben der Datenverarbeitung, wie sie zum Beispiel beim Quantencomputing künftig anfallen werden. Größte Neuerungen sind eine als stabil geltende API für Serverless-Features und die Integration mehrerer Bibliotheken aus der Ray-Community (wie HuggingFace, Intel Analytics Zoo und MARS) in das Ökosystem des Frameworks. Ray 1.0 hat native Unterstützung für Java an Bord und lässt sich unter Windows installieren.

Ursprünglich hatten die Anyscale-Entwickler Ray als Standard für verteilte Rechenumgebungen konzipiert. In den vergangenen drei Jahren entwickelte sich das Projekt dann zu einem erweiterten Ökosystem mit einer Reihe von Bibliotheken. Die Ankündigung des ersten Major Release fand auf dem ersten Ray Summit statt, den das Start-up vom 30. September bis zum 1. Oktober 2020 virtuell ausgerichtet hatte. Parallel dazu hat Anyscale die Private Beta einer verwalteten Ray-Plattform vorgestellt.

Mit Ray 1.0 lassen sich hochskalierbare Bibliotheken, Anwendungen und Dienste erstellen. Der Fokus verteilter Anwendungen liegt laut Blogeintrag auf Ressourcen, die portabel über verschiedene Maschinentypen, Cluster und Clouds hinweg laufen. Automatisches Skalieren über eine API, die das Platzieren von Ressourcenanforderungen auf geeignete Knotenpunkte steuert, soll Nutzern das verteilte Datenverarbeiten übersichtlicher gestalten. Die Speicherverwaltung lässt sich automatisieren, und die Speichernutzung sowie Anwendungsleistung können Nutzer im Dashboard prüfen und debuggen.

Hinter dem Projekt steht ein vierköpfiges Team der Universität Berkeley, dem der Informatikprofessor Michael I. Jordan und der Entwickler Ion Stoica angehören. Stoica ist unter anderem Mitbegründer von Databricks und einer der ursprünglichen Entwickler von Apache Spark. Einer der Hauptsponsoren ist offenbar Intel IT, aber auch Unternehmen wie Amazon, Microsoft und Ant Financial scheinen sich für das Start-up zu interessieren.

Weitere Informationen lassen sich der Ankündigung der Major-Version von Ray im Anyscale-Blog entnehmen.

(sih)