Event-Streaming: Confluent Q3 '21 zielt auf globale Verteilung
Cluster Linking soll die Georeplikation vereinfachen, indem es die Daten von einem Cluster in ein anderes spiegelt.
(Bild: akedesign/Shutterstock.com)
Confluent hat die gleichnamige Plattform in der Version Q3 '21 veröffentlicht. Die auf dem Open-Source-Projekt Apache Kafka aufsetzende kommerzielle Confluent-Plattform stabilisierte im aktuellen Release das Cluster Linking zum Spiegeln einzelner Cluster und die Pull Queries über ksqlDB. Außerdem fällt die Storage-Obergrenze für die Google Cloud.
Das Release läutet eine neue Form des Veröffentlichungszyklus und der Versionierung ein: Nachdem der Vorgänger im Juni als Confluent 6.2 erschienen war, setzt Confluent ab sofort auf vierteljährliche Releases mit der jeweiligen Quartalsbezeichnung als Versionsnummer.
Streaming hinter den Spiegeln
Als Cluster Linking bezeichnet Confluent einen verwalteten Dienst zum Spiegeln von Daten. Beim Einrichten gilt es zunächst auszuwählen, welche Topics im Ziel landen sollen. Topics sind bei Apache Kafka eine Art Container oder Dateiordner, in denen die Software zugehörige Events ablegt. Produzenten (Producers) veröffentlichen Events unter einem Topic, und Konsumenten (Consumers) lesen die Datenströme zu gewünschten Topics aus.
Im Betrieb stellt der Cluster Link eine dauerhafte Brücke zum Spiegeln der Inhalte in Echtzeit dar. Die Topic-Namen bleiben ebenso dieselben wie die Byte-weise kopierten Nachrichten, die Access Control Lists und die Consumer Offsets. Letztere dienen zum Nachverfolgen der Reihenfolge, in denen die Kafka-Topics eingetroffen sind.
(Bild: Confluent)
Cluster Linking zielt in erster Linie auf Georeplikation, um für global verteilte Rechenzentren oder Cloud-Instanzen die Daten so nah wie möglich an den Konsumenten bereitzustellen. Darüber hinaus lässt es sich für eine bessere Ausfallsicherheit verwenden und ermöglicht, Daten über unterschiedliche Cloud-Provider bereitzustellen.
Abrufen statt abwarten
Mit Pull Queries für die Datenbank ksqlDB erreicht ein weiteres bisher experimentelles Feature den stabilen Stand. Standardmäßig bietet die speziell auf Streaming-Anwendungen ausgelegte Datenbank Push Queries, indem sie passende Abfrageergebnisse liefert, sobald passende Events eintreffen.
Pull Queries arbeiten dagegen wie Abfragen auf relationale Datenbanken und greifen auf die zu einem bestimmten Zeitpunkt verfügbaren Daten zu. Seit Confluent 6.1 erlaubt die Plattform solche Abfragen mit mehreren Keys.
(Bild: Confluent)
Nennenswert ist noch, dass Confluent zwei neue Konnektoren zur Anbindung an Azure Cosmos DB Sink und Salesforce Platform Events Source mitbringt. Außerdem fällt für die Google Cloud ebenso wie zuvor für Amazon Web Services (AWS) die Storage-Obergrenze. Auf Microsoft Azure gilt dagegen noch eine maximale Größe von fünf Terabyte.
Weitere Details zu Confluent Q3 '21 lassen sich dem Confluent-Blog entnehmen.
[Update 23.8.2021, 12 Uhr]: Confluent hat uns darauf hingewiesen, dass die vierteljährlichen Updates nicht die regulären Versionen der Plattform ersetzen. Sie fassen die Neuerungen im aktuellen Quartal für die Confluent Cloud zusammen. Damit ist sie kein Nachfolger von Confluent 6.2, und es wird eine reguläre Version 6.3 geben.
(rme)
