Event-Streaming: Confluent 7.3 vereinfacht die Arbeit mit Kubernetes-Pods

Confluent hat die neue Version 7.3 seiner gleichnamigen Kafka-Plattform für das Event-Streaming vorgestellt. Erweiterungen für individuellere Anpassbarkeit und mehr Automation beim Cluster-Management sollen Entwicklerinnen und Entwicklern die Arbeit in Kubernetes erleichtern. Für die Anbindung von Daten aus Legacy-Systemen in die Cloud stehen neue Konnektoren zur Verfügung – zugeschnitten auf IBMs Mainframe-Plattform z/OS.

Individuelle Pod-Anpassung durch Overlays

Im neuen Release eröffnet das Unternehmen mit Confluent for Kubernetes (CFK) 2.5 die Möglichkeit, Overlays für Pod-Ressourcen zu verwenden, um neue Kubernetes-Funktionen einzubinden. Durch die Overlays gewinnen Entwicklerinnen und Entwickler mehr Flexibilität beim Einsatz neuer Funktionen. Bisher waren individuelle Änderungen beim Erstellen, Planen oder Verwalten von Pods nur durch Anpassungen in der zugrunde liegenden Pod-Vorlage in der CFK-API (<component>.spec.PodTemplate) möglich. Die Funktionen standen dann erst nach geprüfter Übernahme in die API zur Verfügung – nach einem langwierigen und mit Wartungsaufwand verbundenen Prozess.

Dank der Overlays können Anwenderinnen und Anwender nun individuelle Konfiguration der Pod-Vorlage bereitstellen, ohne auf die API-Anpassungen warten zu müssen. So lassen sich bei Bedarf beispielsweise Init-Container – also spezielle Container, die vor den Anwendungscontainern in einem Pod ausgeführt werden – oder auch ein benutzerdefinierter Scheduler einrichten (wie das nachfolgende Listing zeigt).

apiVersion: v1
kind: ConfigMap
metadata:
  name: foo-pod-overlay
  namespace: operator
data:
  pod-template.yaml: |
    spec:
      template:
        spec:
          initContainers:
          - name: nginx
            image: nginx:1.12.2
            imagePullPolicy: IfNotPresent

Eine Brücke vom Legacy-System in die Cloud

Um Daten von Mainframe-Systemen in Real-Time-Data-Streaming-Anwendungen in der Cloud einzubinden, müssen Unternehmen eine Reihe von Hürden überwinden. Zumindest für Nutzerinnen und Nutzer von IBMs z/OS-System hat Confluent gute Nachrichten: Ab Version 7.3 der Kafka-Plattform lässt sich das Connect-Framework auf z/OS direkt anbinden. Dafür stehen ab sofort sowohl ein zertifizierter Connect-Worker als auch zertifizierte IBM MQ Source and Sink Premium Connectors parat. Damit lassen sich komplexe Mainframe-Daten für Cloud-Data-Plattformen wie Snowflake, Elastic und MongoDB umwandeln und bereitstellen.

Aktualisiert auf Kafka 3.3 und ksqlDB 0.28.2

Confluent Platform 7.3 steht als kostenfreie Community Edition und als kostenpflichtiges Abonnement mit zusätzlichen, kommerziellen Features zum Download zur Verfügung. Wie bei Confluent-Releases üblich, setzt auch dieses auf die derzeit aktuelle Kafka-Version 3.3, die erstmals den ZooKeeper-Ersatz KRaft als produktionsreif für den Einsatz mit neuen Clustern freigegeben hat.

Die ebenfalls aktualisierte Datenbank ksqlDB stellt Entwicklerinnen und Entwicklern in Version 0.28.2 einige Erleichterungen beim Bauen von Streaming Data Pipelines bereit. Unter anderem haben die in Kafka Streams integrierten Funktionen zum Anhalten und Wiederaufnehmen laufender Topologies nun auch in der ksqlDB-Syntax Einzug gehalten. Mehr Details dazu finden sich in einem separaten Blogbeitrag. Eine komplette Übersicht der Neuerungen in Confluent Platform 7.3 fasst die Ankündigung von Hasan Jilani zusammen.

(map)