Facebooks Presto landet unter dem Dach der Linux Foundation

Zu den Gründungsmitgliedern der Foundation für die Query-Engine gehören neben Facebook Uber, Twitter und Alibaba.

In Pocket speichern vorlesen Druckansicht 2 Kommentare lesen
Facebooks Presto landet unter dem Dach der Linux Foundation
Lesezeit: 2 Min.
Von
  • Rainald Menge-Sonnentag

Die Linux Foundation hat ein neues Unterprojekt angekündigt: Die Presto Foundation soll die Weiterentwicklung und Verbreitung der ursprünglich von Facebook entwickelten Query-Engine vorantreiben. Ein offenes, neutrales Governance-Modell zur Steuerung der Weiterentwicklung soll sicherstellen, dass Presto sowohl wächst als auch zu variierenden Anwendungen passt.

Facebook hatte die SQL-Query-Engine 2012 ins Leben gerufen. Sie zielt auf die Datenanalyse im Big-Data-Umfeld. Presto ermöglicht die Abfrage über verschiedene Datenquellen wie MySQL, PostgreSQL, MongoDB, Kafka oder auch Hadoop, S3 und Alluxio. Motivation für die Entwicklung war, dass den Facebook-Entwicklern direkte Abfragen über Apache Hive nicht performant genug für die Datenanalyse der beim sozialen Netz verarbeiteten großen Datenmengen war.

Eine Besonderheit der Engine ist, dass Presto die Daten dort verarbeitet, wo sie anfallen beziehungsweise gespeichert sind, statt sie zunächst an einer Stelle für Querys zu verbinden. Das erhöht die Attraktivität vor allem für den Einsatz in großen Clustern. Presto verbindet zwei Server-Typen: Coordinators und Workers. Letztere kümmern sich um das Durchführen der Aufgaben und verarbeitet die Daten, während erstere passend zum Namen die Workers verwalten und sich um die Verarbeitung der Befehle und die Planung von Queries kümmern. Die Workers greifen wiederum über Konnektoren (Connectors) auf die eigentlichen Datenquellen zu.

Seinen ersten Schritt in die Open-Source-Welt tat Presto bereits 2013 unter Apache-Lizenz. In Folge beteiligten sich unter anderem LinkedIn und Netflix an der Weiterentwicklung. Im Januar diesen Jahres gründeten die Presto-Verantwortlichen schließlich eine eigene Foundation für die Query-Engine.

Die nun unter dem Dach der Linux Foundation gestartete Presto Foundation ist somit ein konsequenter nächster Schritt für die Weiterentwicklung der Engine. Neben Facebook gehören unter anderem Alibaba, Twitter und Uber zu den Gründungsmitgliedern. Bei Facebook nutzen laut den Angaben des Unternehmens mehr als tausend Mitarbeiter Presto. Sie führen wohl täglich Millionen von Abfragen zur Verarbeitung von Datenmengen im Petabyte-Bereich durch.

Weitere Details zur Gründung der Foundation lassen sich der Ankündigung bei der Linux Foundation entnehmen. Der Sourcecode ist auf GitHub zu finden, und eine Projektseite auf GitHub.io bietet eine Dokumentation und eine Übersicht über die Community-Aktivitäten. Vor Kurzem hatte Facebook zusammen mit Alibaba, netifi, Pivotal und Lightbend die Reactive Foundation unter dem Dach der Linux Foundation gegründet. (rme)