Lightbend integriert Streaming Pipelines in Microservices-Umgebungen

Als Erweiterung der Fast Data Platform erlauben Lightbend Pipelines vereinfachte Entwicklung, Deployment und Betrieb von Streaming Data Pipelines.

In Pocket speichern vorlesen Druckansicht
Lightbend Fast Data Platform mit erweitertem Kubernetes-Support und neuen Verwaltungsfunktionen
Lesezeit: 2 Min.
Von
  • Matthias Parbel

Lightbend, das Unternehmen hinter der JVM-Sprache Scala und Entwickler der Reactive Platform, hat die offizielle Verfügbarkeit einer Erweiterung seiner Fast Data Platform bekanntgegeben: Lightbend Pipelines sollen alle Aspekte vom Entwurf über das Bereitstellen bis zum Betrieb von Streaming Data Pipelines sowie deren Integration in Microservices-Anwendungen vereinfachen und beschleunigen.

Das System verfolgt einen modularen Ansatz, um verschiedene Techniken nahtlos integrieren zu können. Lightbend Pipelines unterstützt zahlreiche Streaming-Engines wie Akka Streams oder Spark Structured Streaming, sodass Anwender auch Komponenten aus verschiedenen Data-Streaming-Anwendungen wie ETL-Prozessen (Extract, Transform, Load) oder der Entwicklung von Machine-Learning-Modellen in einer Pipeline zusammenführen können. Die dafür erforderlichen Anpassungen übernimmt Lightbend Pipelines – das Schreiben von Boilerplate-Code könne weitgehend entfallen, verspricht der Hersteller.

Auf Basis vorintegrierter Kubernetes-Umgebungen automatisiert die Runtime des Systems darüber hinaus zahlreiche Aufgaben rund um das Deployment, das Routing der Daten zwischen den Streamlets sowie zur Datensicherheit. Management und Monitoring der Streaming Data Pipelines lassen sich über eine Konsole mit grafischem Interface nachvollziehen. Einen ersten Eindruck des Funktionsumfangs von Lightbend Pipelines verschafft das folgende Video. Mehr Details finden sich im Blogbeitrag zur Veröffentlichung der Plattformerweiterung.

Die Lightbend Platform verbindet Open-Source- und kommerzielle Techniken, mit denen sich sowohl Streaming- und Fast-Data-Anwendungen wie auch reaktive Microservices entwerfen, erstellen und bereitstellen lassen. Die 2017 erstmals vorgestellte Fast Data Platform berücksichtigt Merkmale reaktiver Systeme wie Anwendungsreaktionsfähigkeit, Belastbarkeit und Elastizität in Streaming-basierten Datenanwendungen. Dabei integriert die Plattform Streaming Engines wie Akka Streams, Flink oder Kafka Streams ebenso wie die ML-Frameworks TensorFlow, Kubeflow und Spark ML. (map)