Datenintegration: Großer Schritt zur Version 2.0 bei Apache Hop

Nach nur dreimonatiger Arbeit können die Entwickler der Apache-Hop-Community die generelle Verfügbarkeit ihrer Datenintegrationsplattform Apache Hop Orchestration Platform (Hop) in einem neuen Major Release mit der Versionsnummer 2.0 verkünden. Sie berichten, dass allein die Umstellung des gesamten Projekts auf Java 11 eine solche Hauptversion rechtfertigen würde, können aber noch eine ganze Reihe weiterer Neuerungen und Erweiterungen vermelden.

Komplette Aktualisierung auf Java 11 und neue Plug-ins

Der Code von Hop lief – so die Entwickler in ihrem Blog – bei den vorherigen Versionen der Plattform auf Java in der Version 8. Mit dem neuen Release haben die Programmierer Hop nun komplett auf Java 11 umgestellt und bezeichnen diesen Schritt explizit als "keine kleine Aufgabe".

Zu den mit dieser Version zur Verfügung stehenden neuen Transform-Plug-ins zählt unter anderem Apache Avro File Output, das Apache-Avro-Nachrichten in eine Datei oder ein Feld hineinschreiben kann. Dabei kann das Plug-in Schreibvorgänge in Binärdateien oder Felder in die Formate Avro Binary oder JSON umwandeln.

Beim ebenfalls neuen Apache Doris Bulk Loader handelt es sich um ein Analysewerkzeug für MPP-Datenbanken. Apache Doris kann verschiedene Anforderungen an die Datenanalyse erfüllen. Als Beispiele dafür nennen die Entwickler historische Datenberichte, Echtzeit-Datenanalyse, interaktive Datenanalyse und explorative Datenanalyse. Das Plug-in soll sehr schnelle Abfragen und die Datenanalyse in Echtzeit ermöglichen. Dank seiner verteilten Architektur werden Datensätze mit bis zu 10 PByte unterstützt und sollen dabei zudem einfach zu bedienen sein. Die Apache Doris Bulk Loader Transformation wurde von der Apache-Doris-Community zur Verfügung gestellt.

Besser arbeiten mit Regeln und Formeln

Der Rules Accumulator von Apache Hop sammelt eingehende Zeilen und führt sie anhand eines Regelsatzes aus. Damit sind Entwickler in der Lage, beispielsweise die Antwort auf eine Frage zu ermitteln oder einen Datensatz auf anderen Wegen zu analysieren. Die derzeitige Implementierung der Regel-Engine ist Drools (840429). Der neu hinzugekommene Drools Rules Executor ermöglicht nun zudem die Ausführung von Feldern eingehender Zeilen anhand eines Regelsatzes. Das kann nützlich sein, um zusätzliche Informationen zu ermitteln oder Zeilen an eine andere Transformation weiterzuleiten. Weiterhin erlaubt es das Formula Transform Entwicklern nun auch, Excel-ähnliche Formeln und Funktionen auf Felder in einer Pipeline anzuwenden.

Eine detaillierte Beschreibung aller weiteren Neuerungen, zu denen unter anderem auch die Übersetzung von Apache Hop ins vereinfachte Chinesisch (zh_CN) sowie Aktualisierungen und Verbesserungen für Hop Translator gehören, können interessierte Entwicklerinnen und Entwickler im Blog-Beitrag des Apache Hop-Teams nachlesen.

(fms)