Stream- und Batch-Processing: Hazelcast Jet erreicht Version 0.6

Die Integration mit Spring und automatische Node-Skalierung bei der Verarbeitung von Jobs sind zwei der wichtigsten Neuerungen im aktuellen Release.

In Pocket speichern vorlesen Druckansicht
Big Data: Hazelcast veröffentlicht ein System zur Verarbeitung verteilter Echtzeitdaten
Lesezeit: 2 Min.
Von
  • Matthias Parbel

Mit Hazelcast Jet ergänzt der Anbieter des gleichnamigen In-Memory Data Grid sein IMDG um ein System zur Verarbeitung paralleler Datenströme wie auch Batch-Daten. Mit dem neu freigegebenen Release 0.6 unterstützt die in der Vorversion eingeführte Pipeline API nun sämtliche Funktionen von Hazelcast Jet. Entwickler können außerdem Libraries von Fremdanbietern einbinden, beispielsweise für Anwendungen wie Predictive Analysis.

Während das Stream Processing im Vergleich zur Batch-Verarbeitung an Bedeutung gewinnt, will Hazelcast Jet als Big Data Processing Engine der dritten Generation verstanden wissen, die sich als Nachfolger für Hadoop und Spark positioniert. Um außerdem die große Zahl von Spring-Anwendern gezielter anzusprechen, steht eine erweiterte Integration mit dem Framework zur Verfügung. Ab Hazelcast Jet 0.6 können Entwickler Jet-Client und Jet-Instanzen als Spring Bean konfigurieren und mit ihren Applikationen verbinden.

Stream- und Batch-Processing mit Hazelcast Jet.

(Bild: Hazelcast)

Für mehr Elastizität bei der Job-Verarbeitung in der Cloud steht Entwicklern eine neue Skalierungsfunktion zur Verfügung. Damit lässt sich Hazelcast Jet an veränderte Cluster-Ressourcen wie die Zahl der verfügbaren Nodes anpassen – wohl unterbrechungsfrei im laufenden Betrieb.

Die Macher versprechen für das neue Release eine noch einfachere Bedienung. Erfahrene Java-8-Entwickler sollen sich bei der Arbeit mit Hazelcast Jet unmittelbar zurechtfinden. Im Zuge des aktuellen Updates läuft Hazelcast Jet jetzt allerdings vollständig auf Java 9 – einschließlich des Modulsystems. Das integrierte Hazelcast IMDG wurde auf Version 3.10 angehoben. Auch verschiedene Jet-Konnektoren liegen in neueren Versionen vor, darunter die für Kafka 1.0 und HDFS 2.8.3.

Um die Leistungsfähigkeit und das Einsatzspektrum von Hazelcast Jet anschaulich zu machen, hat das Unternehmen eine Reihe von Demoanwendungen auf GitHub bereitgestellt, die sich unter anderem mit der Echtzeitanalyse bei der Bilderkennung oder der Straßenverkehrsanalyse und -vorhersage beschäftigen. Hazelcast Jet ist unter der Apache-2-Lizenz quelloffen auf GitHub verfügbar. (map)