LinkedIn stellt sein Echtzeitanalysesystem unter Open-Source-Lizenz
Pinot wird offenbar vom sozialen Netz seit etwa zwei Jahren eingesetzt und ist in der Zeit anscheinend zur De-facto-Analyseplattform für die Bereitstellung wertvoller Einblicke geworden.
- Alexander Neumann
Pinot ist ein im Herbst 2014 vorgestelltes Echtzeitanalysesystem von LinkedIn, das die Betreiber hinter dem sozialen Netz nun in ein Open-Source-Projekt überführt haben. Dabei kommt die Apache License 2.0 zum Tragen, was auch bedeuten könnte, das es über kurz oder lang zum Apache-Projekt werden könnte.
Das in Java geschriebene System nutzt das ebenfalls von LinkedIn initiierte Apache-Projekt Helix für das Cluster-Management. Bei der Echtzeitdatenverarbeitung kommt Apache Kafka zum Einsatz, eine verteilte, skalierbare und fehlertolerante Software zum Transport von Daten, die auf einem Publish-Subscribe-Modell aufbaut. Über die SQL-ähnliche Oberfläche werden die meisten SQL-Features unterstützt, einschließlich einer SQL-ähnlichen Abfragesprache und Funktionen wie Filterung, Aggregation und Gruppierung.
Pinot ist bei LinkedIn seit etwa zwei Jahren im Einsatz und ist in der Zeit offenbar zur De-facto-Analyseplattform zur Bereitstellung wertvoller Einblicke für Mitglieder und Kunden geworden, so stellt sie das Backend für mehr als 25 Analyseanwendungen von LinkedIn, darunter Features wie "Wer hat mein Profil beobachtet", "Wer hat meine Nachrichten aufgerufen" und Jobausschreibungen. Doch Pinot kommt wohl auch bei der internen Entwicklung des sozialen Netzes zum Einsatz, etwa bei XLNT, der A/B-Testplattform des Unternehmens. (ane)
