Virtuelle Kafka-Cluster leicht gemacht: Cluster-Linking mit Confluent
Streaming-Plattform-Anbieter Confluent stellt ein neues Feature bereit, mit dem Event-Daten global verfügbar gemacht werden.
- Nicole Bechtel
Unter dem Dach des Metamorphosis-Projekts für die Vereinfachung des Umgangs mit Datenströmen unter Apache Kafka hat Confluent mit Cloud Linking ein neues Feature vorgestellt. Es soll die bestehenden Produkte Confluent Replicator und MirrorMaker ersetzen können. Betreiber können damit ihre Kafka-Cluster auf Confluents Cloud-Plattform virtuell zusammenfassen.
Das System kümmert sich im Hintergrund automatisch darum, dass Reihenfolge, Partitionierung und Offset der Datenströme erhalten bleiben. Cluster lassen sich mit nur wenigen Zeilen Code dynamisch hochfahren, verknüpfen und ihre Themen sich replizieren. Anwendungen erfassen so stets den gleichen Event Stream, ganz gleich, von wo aus sie auf den virtuellen Cluster zugreifen.
Laut Confluent bietet sich Cluster-Linking insbesondere für vier Einsatzszenarien an:
- Anbindung von on Premises gehosteten Kafka-Clustern an Confluent Platform;
- Spiegeln von Topics einer Region auf eine andere;
- Auf- und Runterskalieren von Confluent-Cloud-Clustern über verschiedene Regionen nach Bedarf;
- Ausnutzen von Kafkas "Write once, read many"-Paradigma, um Netzwerkkosten zu reduzieren und Datentransfers leichter absichern und überwachen zu können.
Die neue Cluster-Linking-Funktion ist als Private Preview in Confluent Cloud bereits verfügbar. Mit dem Release von Confluent Platform 6.0 soll eine öffentliche Vorschau folgen.
(nb)
