Amazon Web Services stellt Kinesis Storm Spout vor
Das Unternehmen hat die Connector Library seines Kinesis-Angebots um Unterstützung für das quelloffene Realtime Computation System für verteilte Architekturen Storm ergänzt.
- Julia Schmidt
Nach DynamoDB, RedShift und S3 steht nun auch ein Kinesis-Connector für Storm bereit. Seit Ende 2013 bietet Amazon für seinen Dienst zum Verarbeiten großer Streaming-Daten-Mengen in Echtzeit eine Sammlung von Verbindungsstücken an. Die nun unter dem Namen Kinesis Storm Spout veröffentlichte Ergänzung soll Daten eines Kinesis-Streams abgreifen und in Tupeln gruppieren, mit denen das quelloffene Realtime Computation System dann weiter arbeiten kann. In einem die Bekanntmachung ergänzenden Blogeintrag gibt Amazons Jeff Barr einige Hinweise dazu, wie sich der Kinesis Storm Spout in Java nutzen lässt.
Die Storm-Entwickler vergleichen ihr Projekt auf ihrer Website mit Hadoop, nur wollen sie was das Big-Data-Projekt für Batchverarbeitung leistet für die Echtzeitverarbeitung von Streaming-Daten leisten. Laut Amazons Ankündigung, verbindet Storm einzelne logische Bearbeitungseinheiten, sogenannte Bolts, zu einer Art Pipeline. Ein "Spout" greift den Stream ab und gibt die so beschafften Daten in Tupeln an ein Cluster solcher Einheiten zur Bearbeitung weiter. Einzelne Bolts lassen sich wohl von beliebig vielen Streams speisen, die sie dann verarbeiten und wieder als Tupel weitergeben. Spouts und Bolts ergeben eine ständig tätige Topologie.
Generell lässt sich Storm mit unterschiedlichen Queueing- und Datenbanksystemen verwenden, als Beispiel für Erstere zählen die Entwickler Kestrel, RabbitMQ/AMQP, Kafka und JMS an. Das Projekt kommt etwa in Unternehmen wie Twitter und Groupon zum Einsatz. (jul)
