Hortonworks DataFlow 3.1 unterstützt Kafka 1.0
Die Plattform für Datenströme HDF bietet in der nun generell verfügbaren Version 3.1 unter anderem Neuerungen im Bereich Flow Management sowie Stream Analytics. Der Message Broker Apache Kafka 1.0 wird erstmals unterstützt.
Mit der generellen Verfügbarkeit von Hortonworks DataFlow (HDF) Version 3.1 führen die Macher der Plattform für Datenströme wesentliche Neuerungen im Flow Management sowie dem Stream Processing und der Stream Analytics ein. Die Unterstützung für den Message Broker Apache Kafka 1.0 ist nun vollständig in die HDF-Services integriert. Insbesondere in Zusammenarbeit mit dem Hortonworks Streaming Analytics Manager (SAM) profitieren HDF-Anwender von den Kafka-Neuerungen wie Message Headers, Message Transactions und erweiterten Security-Optionen. Für das Management von Kafka-Clustern und den erforderlichen Access Control Lists (ACL) stehen zudem Apache Ambari sowie Apache Ranger zur Verfügung.
(Bild: Hortonworks)
Um das Flow Management grundlegend zu überarbeiten und Nutzern die Möglichkeit zu eröffnen, neue Datenströme auf der HDF-Plattform einfacher zu gestalten und zu deployen, haben die HDF-Macher die Apache NiFi Registry integriert. Im Zusammenspiel von NiFi und den Services der Hortonworks Data Platform (HDP) stehen Nutzern erweiterte Optionen für die komponentenübergreifende Verbesserung von Prozessen zur Verfügung. Ergänzend zum Event Level Lineage in NiFi liefert beispielsweise Apache Atlas das entsprechende Dataset Level Lineage. Darüber hinaus vereinfachen Hortonworks SmartSense und Apache Knox den Data Collection-Prozess sowie das Single Sign-on beim Deployment von NiFi auf HDP-Clustern.
Hortonworks DataFlow Version 3.1 steht ab sofort zum Download zur Verfügung. Weitere Details sowie ein kompletter Überblick aller Neuerungen finden sich in den Release Notes. (map)
