Apache Flink 1.5 erhält neues Deployment- und Prozessmodell

Das Streaming-Framework bietet unter anderem einen neuen SQL CLI Client zur Durchführung von Streaming- und Batch-SQL-Queries.

In Pocket speichern vorlesen Druckansicht
Apache Flink 1.5 erhält neues Deployment- und Prozess-Modell
Lesezeit: 2 Min.
Von
  • Matthias Parbel

In das neueste Major Release Apache Flink 1.5 sind nach gut fünf Monaten Arbeit über 780 Fehlerbereinigungen und Verbesserungen eingeflossen. Die Apache Community will mit dem Streaming-Framework vor allem aber neue Wege beschreiten, um Flink einem noch breiteren Anwenderkreis zugänglich zu machen: Bei der Entwicklung von daten- beziehungsweise ereignisgetriebenen Anwendungen soll das Framework genauso selbstverständlich zum Einsatz kommen wie in den Bereichen Data Engineering und Data Processing.

Dafür wurde unter anderem das Deployment- und Prozessmodell grundlegend überarbeitet. Flink beherrscht jetzt dynamische Ressourcenallokation für ein optimiertes Deployment in Zusammenarbeit mit Clustermanagern wie YARN und Mesos. Entwickler bekommen dadurch neue Möglichkeiten an die Hand, die Ressourcenauslastung, Fehlerbehebung und dynamische Skalierung besser zu steuern.

Die Integration mit Kubernetes soll schrittweise weiter vertieft werden, um mittelfristig Jobs und Deployment in Container-Umgebungen – wie von Docker gewohnt – ausführen zu können, ohne vorher einen Flink-Cluster starten zu müssen. Dafür wurde zunächst die externe Kommunikation auf HTTP/REST umgestellt. Alle Requests an den JobManager erfolgen ab Flink 1.5 über eine REST-Schnittstelle.

Mit Blick auf die Performance von Flink haben die Entwickler den Netzwerk-Stack des Streaming-Frameworks überarbeitet. Um die Datentransferraten zu steigern und die Latenz zu verringern, vertraut Flink künftig auf die sogenannte Credit-based Flow Control, die unter anderen Pausen-Frames für die optimierte Kommunikation bei der Datenpaketübermittlung zwischen Netzwerkknoten nutzt. Dadurch lässt sich beispielsweise die Dauer von Programmhaltepunkten in Rückstausituationen verkürzen.

Den Anforderungen zur Durchführung von Streaming- und Batch-SQL-Queries soll ein neuer SQL CLI Client gerecht werden. Entwicklern steht damit in Flink 1.5 eine SQL Shell bereit, über die sich explorative Queries auf Data Streams anwenden lassen.

Preview des neuen SQL CLI Client von Apache Flink 1.5.

(Bild: Apache)

Apache Flink 1.5 steht ab sofort zum Download zur Verfügung. Die Release Notes fassen die wichtigsten Neuerungen zusammen. Eine vollständige Übersicht aller Änderungen und Fehlerbereinigungen findet sich im Change-Log. (map)