Databricks Runtime 5.0 profitiert von Apache Spark 2.4

Databricks hat die Verfügbarkeit der Databricks Runtime 5.0 bekannt gegeben. Die Software integriert die Neuerungen von Apache Spark 2.4 und bietet die Basis für die in Databricks Delta geplanten neuen Funktionen und Leistungsverbesserungen. Das Delta-Produkt ist eine in der Cloud betriebene Managementplattform für das Betreiben sogenannter Data Lakes.

Das jüngste Spark-Release war erst kürzlich erschienen. Größte Neuerungen sind ein Scheduler zur Unterstützung des Barrier-Modus, eine Reihe eingebauter Features und Funktionen höherer Ordnung sowie experimenteller Support der Programmiersprache Scala 2.12.

Was ist neu bei der Databricks Runtime?

Die Databricks Runtime bietet mit dem neuen Release offenbar erhebliche Leistungssteigerungen in wichtigen Bereichen der Umgebung; die Rede ist von einer Verbesserung der Ausführungszeit um 16 Prozent. Databricks Delta profitiert von den Überarbeitungen im Metadaten-Caching und verbessert die Abfrage-Latenz um 30 Prozent.

Des Weiteren weist der Hersteller auf einen besseren Umgang mit MERGE- und OPTIMIZE-Befehlen hin. Im Bereich Streaming wurde der Kafka-Client auf die Version 2.0.0 aktualisiert. Databricks unterstützt nun sogenannte kafka.isolation.level, um nur noch bestätigte Datensätze aus Kafka-Themes zu lesen, die mit einem transaktionalen Producer geschrieben wurden. Außerdem wurde die neue Dateibenachrichtigung für den Azure Blob Storage integriert. Statt beim Finden neuer zu verarbeitender Dateien nur aufzulisten, kann diese Streaming-Quelle direkt Benachrichtigungen über Dateiereignisse lesen, um neue Dateien zu finden.

Ein detaillierter Überblick aller Neuerungen in der Databricks Runtime 5.0 findet sich in den Release Notes sowie in denen für die Cloud-Umgebungen Microsoft Azure und Amazon Web Services. Die Ankündigung motiviert das neue Release. (ane)