Hortonworks Plattform für Datenströme HDF erreicht Version 2.0

Hortonworks hat eine neue Version seiner Plattform zur Verarbeitung von Datenströmen HDF (Hortonworks DataFlow) veröffentlicht. Sie dient dazu, Daten, die unter anderem von IoT-Endgeräten (Internet of Things) anfallen, zu analysieren und für die Weiterverarbeitung in der Hadoop-Distribution HDP (Hortonworks Data Platform) aufzubereiten. Dazu setzt sie unter anderem auf die Apache-Werkzeuge Storm, Kafka und NiFi.

Im vergangenen Jahr hatte Hortonworks mit Onyara die Firma hinter Apache NiFi übernommen. Das Werkzeug zur automatisierten Verteilung von Datenströmen entstand ursprünglich bei der NSA, die es 2014 an die Apache Foundation übergab. HDF 2.0 enthält das frisch erschienene NiFi 1.0, das ohne Cluster-Manager auskommt. Stattdessen weist das System mithilfe von Apache ZooKeeper automatisch den einzelnen Knoten die passenden Rollen als primärer Knoten oder Cluster-Koordinator zu. Durch ein überarbeitetes Sicherheitsmodell ist NiFi 1.0 zudem mandantenfähig.

Performance, Security und Benutzerschnittstelle

Bereits im Frühjahr hatte Apache Storm den Versionssprung auf 1.0 geschafft. Laut einem Benchmark von Hortonworks ist das Release, das Bestandteil von HDF 2.0 ist, deutlich performanter als der Vorgänger. Storm kann Datenströme effizient filtern oder die anfallenden Daten weiterverarbeiten. Auf der Managementseite ist Apache Ambari, das bereits seit Längerem in der HDP enthalten ist, jetzt auch in DataFlow integriert. Zu den weiteren Neuerungen gehört die Einbindung des Security-Frameworks Apache Ranger. Auf der Seite der Endgeräte setzt HDF auf das NiFi-Unterprojekt MiNiFi, das mit einem schlanken Aufbau auf die Verarbeitung an der Datenquelle ausgelegt ist und eine Integration mit Apache NiFi bietet.

Weitere Details sind im Hortonworks-Blog zu finden. Auf der Download-Seite steht HDF 2.0 sowohl im Komplettpaket mit Ambari 2.4 als auch als reine NiFi-Variante ebenso zum Herunterladen bereit wie der MiNiFi Java Agent. (rme)