Plattform für Datenströme: Hortonworks DataFlow 3.3 ist bereit für Kafka 2.0

Das neue Release von Hortonworks DataFlow unterstützt neben Kafka 2.0 nun auch offiziell die Stream Processing Engine Kafka Streams.

In Pocket speichern vorlesen Druckansicht 16 Kommentare lesen
Hortonworks DataFlow 2.1 verbessert das Zusammenspiel mit der Cloud
Lesezeit: 2 Min.
Von
  • Matthias Parbel

Mit der generellen Verfügbarkeit von Hortonworks DataFlow (HDF) Version 3.3 bauen die Macher der Plattform für Datenströme die Unterstützung für den Message Broker Apache Kafka weiter aus. Kafka 2.0 sowie die Kafka Streams sind nun vollständig in die HDF-Services integriert. Damit stehen Anwendern der Plattform nun inklusive Spark Structured Streaming und Streaming Analytics Manager (SAM) for Storm insgesamt drei verschiedene Stream Processing Engines zur Verfügung. Kafka Streams lässt sich in Verbindung mit der Schema Registry, Ranger und dem Streams Messaging Manager (SMM) einsetzen. Hortonworks gewährt dafür vollen Support – auch für "kerberized" beziehungsweise "rangerized" Kafka-Cluster.

Zur Auswahl der geeigneten Stream Processing Engine liefert ein Blog-Beitrag Hilfestellung.

(Bild: Hortonworks)

Mit Kafka 2.0 halten verschiedene Verbesserungen bei Ambari und Ranger sowie die NiFi-Prozessoren Einzug in HDF. Unter anderen können Anwender Multi-Node Secure Cluster mit Ambari installieren, konfigurieren und verwalten. Ranger bietet neue Funktionen rund um die Access Control Lists (ACL), darunter das Erstellen oder Löschen von Level Permissions. Ranger ist nun zudem in die NiFi Registry integriert und erlaubt es, detaillierte Permissions für das Starten oder Stoppen von Prozessorgruppen im NiFi Canvas zu nutzen.

Im Zuge der bevorstehenden Veröffentlichung von HDP 3.1 (Hortonworks Data Platform) fließen außerdem Verbesserung für Analytics mit Kafka in HDF ein. Für SQL-Analysen steht der neue Hive Kafka Storage Handler bereit, mit dem sich Kafka Topics als Tabellen betrachten und SQL via Hive ausführen lassen. Der Druid Kafka Indexing Service hingegen unterstützt OLAP-Analysen von Streaming Events in Kafka. Darüber hinaus lassen sich damit Kafka Topics als Cubes betrachten.

Weitere Details sowie ein kompletter Überblick aller Neuerungen finden sich im Blogbeitrag zur Ankündigung sowie in den Release Notes. Hortonworks DataFlow Version 3.3 steht ab sofort zum Download zur Verfügung. (map)