Ververica kündigt Stateful Functions für Apache Flink an

Inhaltsverzeichnis

Ververica, vormals data artisans und jetzt bei Alibaba, hat für seine Stream-Processing-Plattform auf seiner Entwicklerkonferenz Flink Forward Europe das Framework Stateful Functions angekündigt. Stateful Functions sind als einfache, aber leistungsfähige Abstraktion konzipiert, die auf Funktionen mit persistentem und fehlertolerantem Zustand basieren. Die Funktionen interagieren asynchron miteinander und lassen sich zu komplexeren Funktionsnetzen zusammensetzen.

So sollen etwa Infrastrukturen für das Application-Site-Management (z. B. Key-Value-Stores, Message Broker) überflüssig werden. Diese Vereinfachung soll das Erstellen und Orchestrieren von Stateful-Anwendungen vereinfachen und beschleunigen.

Abrechnung nach Verbrauch

Da die Funktionen Serverless laufen und keine konstanten Ressourcenbedarf haben (und auch keine Leerlaufzeiten aufweisen), komme dies verbrauchsabhängigen Preismodellen zugute, die langsam zur Norm werden, erläutert Stephan Ewen, CTO von Ververica. Er führt als Beispiel die permanente Betrugserkennung bei Kreditkartenfirmen und Banken an. Weitere Prozesse, die zustandsabhängig (stateful) sind, wären Bestellung, Zahlung, Logistik, aber auch heterogene Event-Stream-Pipelines mit wechselnder Last (beispielsweise IoT-Event-Rule-Pipelines). Ein weiterer Einsatzbereich seien Echtzeitkontext und -Statistiken wie etwa Recommendation Engines (Suche- und Inhalts-Ranking etc.) und Feature Assembly für Machine Learning.

Ververica will an Verbesserungen arbeiten, um Stateful Functions zu etablieren und zu steigern, wie etwa die Unterstützung von Nicht-JVM-basierten Sprachen, detailliertere Beobachtungsfähigkeit und schnellere Wiederherstellungszeiten. Weiterführende Informationen findet man auf dem Ververica-Blog.

Ververica 1.9.0 im Detail

Bereits im September stellte Ververica das Release 1.9.0 seiner gleichnamigen Plattform vor, die auf Apache Flink 1.9. setzt. Es ist insofern bedeutsam, weil darin endlich die Stream- und Batch-Verarbeitungsfunktionen von Apache Flink in einer einzigen, einheitlichen Runtime integriert werden. Damit hebe Flink sich endgültig gegenüber Spark hervor, denn Spark verarbeite Daten weiterhin vor allem in Batch-Jobs (in einer Lambda-Architektur) statt in Datenströmen. Von Apache Kafka unterscheide sich Flink, indem es sich auf "Compute" fokussiere, Kafka hingegen auf "Storage". Flink hat also zwischen Spark, Kafka und anderen Projekten eine nachgefragte Marktnische gefunden.

Des Weiteren weist das neue Release noch ein überarbeitetes WebUI auf und bietet Vorschauen auf die neue Python Table API von Flink und deren Integration in das Apache Hive-Ökosystem. Zudem soll Hive vollständig integriert werden. Der Partner Neo4J, ein Anbieter von Graph-Datenbanken, hat die Integration seiner eigenen Programmiersprache Cypher mit Apache Flink bekanntgegeben und sie auch in einer Session der Konferenz überzeugend demonstriert.

Neues Trainingsprogramm

Ververicas neues Apache-Flink-Developer-Training richtet sich an Java- und Scala-Entwickler, die in zwei Tagen lernen möchten, wie man Streaming-Anwendungen erstellt. Der Hersteller hat nun die Schulungsansätze differenziert, um die Trainingseinheiten auf verschiedene Aspekte der Interaktion mit Flink zu konzentrieren. Schließlich wurde auf der Flink Forward ein Partnerprogramm vorgestellt: die "Ververica Stream Alliance". Es umfasst bislang drei Partnerkategorien:

1. Partner, die Beratungsdienstleistungen anbieten,
2. Unternehmen, die diese Stream-Processing-Technik mit der Ververica Platform in ihr Portfolio aufnehmen oder den Markteinführungsansatz verfolgen, und
3. Cloud-Provider, die ihren Kunden ein Flink-basiertes Produkt oder Cloud-Services der Ververica Platform anbieten möchten.

Ververica will stark in die Aus- und Weiterbildung der Partner, die Technologieintegration und die Beratung der Partner aus erster Hand investieren. (bbo)