Confluent 2.0: Verarbeitung von Datenströmen auf der Basis von Kafka
Die Open-Source-Plattform Confluent erweitert Apache Kafka 0.9 um Konnektoren, Sicherheitsfunktionen und Client-Quotas.
- Rainald Menge-Sonnentag
Apache Kafka ist ein Message Broker zur Verarbeitung von Datenströmen. Das in der Programmiersprache Scala geschriebene System entstand beim sozialen Netz LinkedIn und ist seit 2012 ein Open-Source-Projekt der Apache Software Foundation. Viele der ursprünglichen Entwickler verließen LinkedIn und gründeten die Firma Confluent, um dort eine Plattform zur Erweiterung der Funktionen von Kafka zu bauen.
Verbindung zu anderen Systemen
Confluent 2.0 setzt auf die Ende November erschienene Kafka-Version 0.9, Außer dem Broker selbst beinhaltet die Plattform Clients für Java und C/C++, einen REST-Proxy und Kafka Connect zur Anbindung von ein- und ausgehenden Datenströmen an diverse Systeme wie Hadoop, relationale Datenbanken oder Log-Dateien. Neben den vorgefertigten JDBC-, HDFS- und File-Connectors können Entwickler ihre eigenen Konnektoren programmieren.
(Bild: Confluent)
Sicherheitsfunktionen
Im Bereich Sicherheit bringt die Plattform auf 2.0 drei neue Funktionen: Administratoren können die Authentisierung über Kerberos oder TLS-Zertifikate zwingend festlegen. An Unix angelehnte Zugriffsrechte steuern den Datenzugriff durch die Nutzer. Schließlich kann die Datenübertragung über das Netzwerk verschlüsselt erfolgen. Das Confluent-Team plant für die Zukunft die Integration weiterer Sicherheitsfunktionen.
Benutzerdefinierte Quotas sollen den stabilen Ablauf in mandantenfähigen Kafka-Clustern sicherstellen. Damit können Administratoren verhindern, dass einzelne Clients den kompletten Broker für sich beanspruchen und somit für die restlichen Clients unbrauchbar machen.
Die kompletten Neuerungen von Confluent 2.0 stehen in den Release Notes. Die Plattform selbst steht in unterschiedlichen Archiven zum Download bei Confluent bereit. Die Quellen sind auf GitHub zu finden. (rme)
