Hortonworks führt den Streams Messaging Manager ein
Die zentrale Monitoring-Plattform soll insbesondere Kafka-Anwendern die Arbeit erleichtern und gegen die sogenannte Kafka Blindness helfen.
- Matthias Parbel
Mit dem Streams Messaging Manager (SMM) legt Hortonworks die erste Service-App für die im vergangenen Jahr vorgestellte DataPlane-Plattform vor. Die Open-Source-Komponente SMM ist als zentrale Monitoring-Software angelegt, die speziell auf den Einsatz in Kafka-Architekturen zugeschnitten ist.
Die Entwicklung von SMM hat Hortonworks in enger Abstimmung mit verschiedenen Großkunden vorangetrieben, die mit speziellen Problemen – der sogenannten Kafka Blindness – konfrontiert sind. Seit Beginn der offiziellen Unterstützung von Apache Kafka 1.0 in HDF 3.1 hat sich die verteilte Streaming-Plattform zu einer zentralen Komponente in den Infrastrukturen vieler Hortonworks-Anwender entwickelt. In der Praxis führt diese Omnipräsenz von Kafka aber offenbar zu einem Maß an Intransparenz, dass die Nachvollziehbarkeit der im Hintergrund laufenden Prozesse nicht mehr gewährleistet ist. Davon betroffen sind sowohl die Bereiche DevOps und App-Entwicklung, aber auch Governance und Security.
Der konzeptionelle Ansatz hinter SMM fußt auf vier Prinzipien. Erstens sollen Anwender detaillierteren Einblick in die Vorgänge rund um Producer, Topics, Broker und Consumer innerhalb der Kafka-Cluster erhalten. Sie sollen außerdem mehrere Cluster sicher verwalten können. REST dient als bewährte zentrale Schnittstelle zur Integration anderer Werkzeuge, und viertens unterstützt SMM bei der Zusammenarbeit mit Techniken wie Apache Ambari, Ranger und Atlas sowie Schema-Registries und Grafana.
App-Entwicklern und DevOps-Mitarbeitern verhilft eine "intelligente" Filterfunktion zu genaueren Einblicken in die Datenflüsse ihrer Anwendungen. Sollen beispielsweise die IoT-Gateway-Topics in Kafka näher betrachtet werden, liefert die Funktion für den Filter "Gateways" eine Ansicht aller mit den zugehörigen Topics "verbundenen" Producer und Consumer. Auf vergleichbare Weise lassen sich die Datenflüsse der verschiedenen Entities außerdem visualisieren. Governance- und Security-Verantwortliche profitieren darüber hinaus offenbar von der in SMM integrierten Anbindung von Atlas und Ranger, die zentralisiertes Management von Sicherheitsaspekten, Lineage und Governance erlauben.
Einen Überblick der Funktionen des Streams Messaging Manager liefert die Ankündigung von Hortonworks. Detailliertere Einblicke in die Monitoring-Technik finden sich auf der SMM-Website. (map)
