Greenplum 5.3 geht erste Schritte in Richtung Containerisierung
Mit Version 5.3 bereitet Pivotal sein Big-Data-Warehouse für den Einsatz von Container-Technologie vor. Query Interfaces für SQL, Python oder R sollen innerhalb der Plattform containerisiert werden.
- Matthias Parbel
Mittelfristig soll das Big-Data-Warehouse Greenplum vollständig mit dem Pivotal Container Service (PKS) integriert werden. Das neue Release Greenplum 5.3 bringt erste Funktionen für die Containerisierung mit, insbesondere im Hinblick auf Query Interfaces für SQL, Python oder R. Zunächst noch als Preview-Funktion steht dafür Greenplum 5 PL/Container als Trusted Language Execution Engine zur Verfügung, die Docker-Container zur Ausführung von Python- oder R-Code nutzt.
Die Basis für eine ausgefeiltere Isolation der Ressourcen für mandantenfähige gemischte Workloads schaffen die neuen Greenplum 5.3 Resource Groups. Auf Betriebssystemebene erlauben sie die Gruppierung von CPU- und Speicherressourcen. Das Concurrency-Management erfolgt dabei transaktionsbasiert, sodass der Datenbankadministrator das Niveau der Nebenläufigkeit gezielt steuern und eine geordnete Reihenfolge für den Eintritt von Queries ins System festlegen kann.
Austausch mit Hadoop und Spark
Um die Zusammenarbeit von Greenplum mit den Frameworks Apache Hadoop und Spark auszubauen, hat Pivotal die neue Version 5.3 um das Platform eXtension Framework (PXF) erweitert. Es bietet eine REST API, baut auf Pivotal HDB (vormals „Pivotal Extension Framework“) auf und erlaubt hochgradig parallele Queries von Hadoop-Daten. Ziel ist es, die Kosten- und Speichervorteile von Hadoop Data Lakes mit der Performance von Greenplum zu kombinieren. Der Pivotal Greenplum Spark Connector soll hingegen einen schnellen Datenaustausch zwischen der Greenplum DB und Spark Clustern ermöglichen. Das Laden und Zurückspielen der Daten wird dabei über den Spark JDBC-Treiber gesteuert.
Details und nähere Informationen zu den weiteren Neuerungen finden sich in der Blogankündigung zu Greenplum 5.3. (map)
