Big Data: eBay veröffentlicht Pulsar zur Echtzeitdatenanalyse

eBay hat die Quellen seiner Echtzeitdatenanalyseplattform und Stream-Verarbeitungs-Frameworks Pulsar unter der GPL v2 License der Öffentlichkeit zugänglich gemacht. Das CEP-Framework (Complex Event Processing) und die zugehörige Analyse-Pipeline entstanden, da das Unternehmen bereits Big-Data-Projekte zur Auswertung seiner Nutzerdaten einsetzt, die allerdings neuen Anforderungen in einigen Punkten nicht gerecht werden können. Pulsar soll dabei helfen, durch Nutzer oder Geschäftsprozesse ausgelöste Events in Echtzeit zu sammeln und zu analysieren, um mit den darauf gewonnenen Erkenntnissen weiterführende Aktionen starten zu können.

Laut Bekanntmachung behandelt Pulsar einen Event Stream wie die Tabelle einer Datenbank. Auf den Stream werden SQL-Abfragen und Annotationen angewendet, um zusammenfassende Daten zu erhalten, die sich dann weiter nutzen lassen. Die Analyse-Pipeline des Systems besteht aus lose gekoppelten Elementen, die funktional nicht von den Nachbarn abhängen und sich so einzeln aufbauen und einsetzen lassen. Der Transport der Events erfolgt dabei asynchron, um eine bessere Skalierbar- und Zuverlässigkeit zu erzielen.

Herausragende Eigenschaften des in Java verfassten CEP-Frameworks sollen wohl unter anderem die Möglichkeit sein, die Verarbeitungslogik deklarativ mit SQL zu definieren, in der Cloud zu deployen und sowohl Push- als auch Pull-Modelle für Publish-Subscribe Messaging einzusetzen. Weitere Informationen lassen sich der Bekanntmachung, genauere Hinweise zu Funktionsumfang und Einsatzmöglichkeiten der Dokumentation entnehmen. (jul)