Datenanalyse: Varadas Workload Analyzer für Presto wird Open Source
Das Tool sammelt metrische Daten von Queries, aggregiert Informationen und stellt sie in Diagrammen dar – es ist kompatibel mit PrestoDB und Trino.
- Silke Hahn
Varada, ein Anbieter von Software zum Auswerten von Big Data, hat seinen Workload Analyzer for Presto zu Open Source gemacht. Das Tool ist kompatibel mit der Query-Engine Presto, einem ursprünglich von Facebook gegründeten Projekt, das heute aus der PrestoDB und Trino (dem vormaligen PrestoSQL) besteht.
Datenvirtualisierung mit der verteilten Query-Engine
Mit der verteilten SQL-Query-Engine Presto lassen sich Daten aus verschiedenen Quellen wie Kafka, MongoDB, PostgreSQL und MySQL abfragen. Die Engine ist auf besonders große Datenmengen im Petabyte-Bereich ausgelegt und verarbeitet Daten am Speicherort – in großen Clustern und Cloudumgebungen spielt das eine Rolle.
Workloads in Presto-Clustern überwachen
Die Query-Engine und das ihr zugeordnete Tool zum Untersuchen von Workloads in den Presto-Clustern kommen laut Varada derzeit vor allem in datengetriebenen Projekten und Unternehmen zum Einsatz. Mit der verteilten Query-Engine lassen sich Rohdaten verschiedener Herkunft unmodelliert abfragen und der gesamte sogenannte Data Lake lässt sich dann mittels PrestoDB und Trino laut Angaben des Tool-Anbieters untersuchen.
Laut Hersteller können DataOps-Teams mit dem Workload Analyzer for Presto ihre Produktions-Pipelines überwachen, Engstellen identifizieren, den Ressourcenbedarf auf stündlicher oder wöchentlicher Basis ermitteln und Skalierungsregeln definieren. Im produktiven Einsatz lassen sich Workloads dann offenbar gezielter den verfügbaren Cloud-Ressourcen zuweisen.
Über Presto, heute Trademark der Linux Foundation
Facebook hatte Presto 2012 gegründet und stellte es 2013 unter die Apache-Lizenz, seit 2019 befindet sich die Query-Engine organisatorisch unter dem Dach der Linux Foundation und verfügt über eine eigene Stiftung: Neben Facebook gehörten damals Uber, Twitter und Alibaba zu den Gründungsmitgliedern der Presto Foundation.
Der neuerdings quelloffene Workload Analyzer for Presto steht Interessierten auf GitHub frei zum Download bereit. Weitere Informationen zu dem Tool und seinen Einsatzgebieten lassen sich der Pressemeldung von Varada entnehmen.
(sih)
