Tweets schneller Analysieren: Storm wird Open Source
Twitter wird sein frisch eingekauftes Echtzeit-DV-System Storm als Open Source veröffentlichen. Damit wird die Technik für die Parallelisierung von Datenbankabfragen für alle verfügbar.
- Robert Lippert
Erst vor Kurzem hat Twitter sich den Echtzeitanalyse-Spezialisten BackType einverleibt. Ausschlaggebend für die Übernahme war insbesondere das Echtzeit-Datenverarbeitungssystem Storm, von dem Twitter sich langfristig genauere Analysen seiner Daten verspricht. BackTypes Tradition, die eigenen Produkte früher oder später als Open-Source-Produkt zu veröffentlichen, wird nun auch bei Twitter weiter gepflegt – am 19. September will Nathan Marz, seinerzeit Lead Engineer bei Backtype, Storm auf der Strange Loop 2011 als Open Source veröffentlichen.
Storm bietet neben reinem Stream Processing (die klassische Analyse der Daten im Stream) auch Continuous Computation (erlaubt die Ausgabe von Ergebnissen während der Verarbeitung weiterer Daten) und die Möglichkeit, Distributed RPCs (verteile Remote Procedure Calls, mit denen umfangreiche Abfragen parallelisiert werden können) anwenden zu können.
Damit sei Storm für die Echtzeit-Datenverarbeitung in etwa das, was Hadoop für das Batch-Processing sei, so Nathan Marz. Das System garantiere, dass jede Nachricht verarbeitet würde und könne mit beliebigen Programmiersprachen angesprochen werden. Erste Details zur Funktionsweise von Storm, stellt Marz in Twitters Engineering-Blog vor. ()
