JetBrains' Big Data Tools 1.6 behalten Flink-Jobs im Auge
Die Big Data Tools 1.6, ein Plug-in für Zugriff auf Zeppelin Notebooks, beherrscht nun auch das Monitoring von Apache Flink und bindet den Hive Metastore ein.
(Bild: Shutterstock)
JetBrains hat die Big Data Tools aktualisiert. In Version 1.6 bietet das Plug-in für die IDEs IntelliJ IDEA Ultimate, DataGrip, DataSpell und PyCharm Professional neben Bugfixes und allgemeinen Verbesserungen auch einige neue Funktionen – darunter das Monitoring von Apache-Flink-Jobs direkt aus der Entwicklungsumgebung heraus. Neu ist zudem die Integration des Hive Metastore.
Jobs und Tasks in Apache Flink überwachen
Die erstmals 2020 vorgestellten und seit Anfang vergangenen Jahres in einer für den produktiven Einsatz freigegebenen Version verfügbaren Big Data Tools sind primär für die Anbindung an Apache-Zeppelin-Notebooks ausgelegt, mit denen sich – vergleichbar zu Jupyter Notebooks – interaktive Datenanalyse betreiben lässt. Darüber hinaus können Entwicklerinnen und Entwickler das Plug-in zum Monitoring von Anwendungen auf Spark und Hadoop einsetzen. Mit dem Update auf Version 1.6 erweitert JetBrains die Monitoring-Funktionen auf Apache-Flink-Jobs. Direkt aus der IDE heraus lassen sich auch neue Jobs anlegen, einreichen und überwachen. Über die Big Data Tools lassen sich sowohl der Job Manager wie auch die Task Manager im Auge behalten.
(Bild: JetBrains)
Erstmals steht auch eine Integration des Hive Metastore zur Verfügung. Aus der IDE heraus lässt sich eine Verbindung zum Metastore aufbauen, um Hive-Kataloge, -Spalten und -Tabellen zu durchsuchen. Auch Partitionen des Metadatenspeichers lassen sich einsehen und über ein spezielles Tool-Fenster detaillierte Informationen zum Hive Metastore anzeigen. Darüber hinaus beherrschen die Big Data Tools nun Code Completion für Spark SQL, das auf Metadaten im Hive Metastore aufsetzt.
Mehr Filteroptionen
Das JetBrains-Team hat auch die Integration von Amazon EMR (Elastic MapReduce) überarbeitet und die Möglichkeit ergänzt, Cluster und Nodes zu überwachen. Für die EMR-Cluster steht zudem eine Baumansicht zur Verfügung, die verschiedene Filteroptionen bietet. Beim Kafka-Monitoring finden Entwicklerinnen und Entwickler ebenfalls erweiterte Filtermöglichkeiten für Topics.
Ein vollständiger Überblick sowie weitere Details zu den Neuerungen in den Big Data Tools 1.6 lassen sich dem JetBrains-Blog entnehmen. Das kostenlose Plug-in ist im Marketplace verfügbar, es setzt aber eine der kommerziellen JetBrains-IDEs IntelliJ IDEA Ultimate, DataGrip, DataSpell oder PyCharm Professional voraus.
(map)
