Datenströme verarbeiten mit Apache Kafka
Das Messaging-System Apache Kafka kanalisiert Datenströme zwischen verschiedenen Systemen. Das Einsatzgebiet reicht von Data Handling bis Streaming-Szenarien.
- Bernhard HopfenmĂĽller
- Manuel Bonk
Goldman Sachs, trivago, PayPal, Uber, Netflix und BMW sind darauf angewiesen, schnell Erkenntnisse aus groĂźen Datenmengen zu ziehen. Sie setzen dabei auf das Messaging-System Apache Kafka.
Systeme, die Streams verarbeiten, lassen sich nach Message Queues mit Punkt-zu-Punkt-Verbindungen und sogenannten Publish-Subscribe-Modellen unterscheiden. Die sendenden Systeme bezeichnet man als Producer, die Empfänger als Consumer.
Bei einer klassischen Message Queue fließen alle eingehenden Nachrichten in eine Warteschlange. Dort werden sie, sobald sie an der Reihe sind, abgearbeitet und verschwinden danach meist aus dem System. Dieser Ansatz lässt sich mit einer Warteschlange im realen Leben vergleichen.
Das war die Leseprobe unseres heise-Plus-Artikels "Datenströme verarbeiten mit Apache Kafka". Mit einem heise-Plus-Abo können Sie den ganzen Artikel lesen.
