zurück zum Artikel

Das Team hinter dem Framework hat mit Flink Table Store einen Speicher zum Aufbau dynamischer Tabellen für die Streaming- und Batch-Verarbeitung vorgestellt.

Mit Flink Table Store wollen die Entwicklerinnen und Entwickler des Stream-Processing-Frameworks einen einheitlichen Speicher zur Verfügung stellen, der sich zum Aufbau dynamischer Tabellen für die Streaming- und Batch-Verarbeitung in Flink einsetzen lässt. Zudem unterstützt die Software eine schnelle Datenaufnahme und Datenabfragen.

Vielseitige Methode zum Lesen/Schreiben

Laut der Beschreibung auf der Flink-Webseite [1] handelt es sich bei Flink Table Store um eine neue Art von aktualisierbarem Data Lake, der die folgenden Merkmale aufweist:

• Hoher Datendurchsatz bei guter Abfrageleistung.
• Abfrage mit Primärschlüsselfiltern, die bis zu 100ms schnell sein sollen.
• Streaming-Reads sind ebenfalls auf Lake Storage verfügbar. Lake Storage ist dabei auch mit Apache Kafka [2]integrierbar, um Streaming-Reads auf zweiter Ebene bereitzustellen.

Flink Table Store verwendet zum Lesen und Schreiben der Daten und zum Durchführen von OLAP-Abfragen eine vielseitige Methode. So können die Daten beispielsweise bei Leseoperationen im Batch-Modus aus historischen Snapshots oder im Streaming-Modus aus dem letzten Offset gelesen werden. Als dritte Möglichkeit unterstützt Flink auch das Lesen inkrementeller Snapshots auf hybride Weise.

Bei Schreibvorgängen unterstützt die Software sowohl die Streaming-Synchronisierung aus dem Änderungsprotokoll von Datenbanken (CDC) als auch das Einfügen/Überschreiben von Offline-Daten im Batch-Modus. Weiterhin unterstützt Table Store nicht nur Apache Flink [3], sondern auch andere Computing-Engines wie Apache Hive, Apache Spark [4] und Trino.

Entwickler und Entwicklerinnen, die Flink Table Store mit diesen Features einsetzen wollen, finden auf der Apache-Flink-Webseite eine umfassende Anleitung zum schnellen Einstieg [5].

(fms [6])

URL dieses Artikels:
https://www.heise.de/-7248490

Links in diesem Artikel:
[1] https://flink.apache.org/news/2022/08/29/release-table-store-0.2.0.html
[2] https://www.heise.de/news/Apache-Kafka-2-8-erlaubt-ersten-Blick-auf-die-Zukunft-ohne-ZooKeeper-6021505.html
[3] https://www.heise.de/news/Datenverarbeitung-Apache-Flink-1-14-kombiniert-Batch-und-Stream-Verarbeitung-6205017.html
[4] https://www.heise.de/news/Datenverarbeitung-Apache-Spark-3-1-will-zum-Zen-Meister-fuer-Python-werden-5070317.html
[5] https://nightlies.apache.org/flink/flink-table-store-docs-release-0.2/docs/try-table-store/quick-start/
[6] mailto:fms@heise.de

Copyright © 2022 Heise Medien