Big Data Tools: JetBrains gibt Plug-in für IntelliJ, PyCharm und DataGrip frei
Nutzer der IDEs erhalten über das Plug-in direkten Zugriff auf Zeppelin Notebooks, Spark-Anwendungen sowie Dateien auf S3-Speicherinstanzen
(Bild: rawf8/Shutterstock.com)
- Matthias Parbel
Um die rasant wachsende Zahl von Data Scientists und Data Engineers bei ihrer täglichen Arbeit gezielter unterstützen zu können, hat JetBrains, Anbieter verschiedener Entwicklungsumgebungen (IDEs), die sogenannten Big Data Tools aufgelegt. Als Plug-in für die IDEs IntelliJ IDEA, PyCharm und DataGrip eröffnen die Tools Entwicklern integrierten Zugriff auf Data-Science-Anwendungen wie Apache Zeppelin, Apache Spark sowie HDFS- und S3-Speichersysteme.
Integration von Apache Zeppelin for Scala
Die Big Data Tools standen als Preview bisher lediglich Anwendern der IntelliJ-IDEA-Ultimate-Edition im Rahmen eines Early-Access-Programms zur Verfügung. Mit Version 0.3.637 bietet JetBrains die Werkzeuge nun als Public Preview sowohl für IntelliJ IDEA Ultimate als auch PyCharm und DataGrip an. Data Engineers, die bereits mit Apache Zeppelin for Scala und IntelliJ vertraut sind, können das Plug-in ab sofort nutzen, um mit Zeppelin Notebooks in Scala und Spark SQL direkt innerhalb der IDE zu arbeiten. Funktionen wie Codevervollständigung, Smart Navigation, Inspektionen und Quick-Fixes sowie Refactoring in den Notebooks stehen zur Verfügung. Entwickler können neue Zeppelin Notebooks erstellen, sie durchsuchen und ausführen, ohne dazu IntelliJ verlassen zu müssen.
In Verbindung mit Apache Spark erlaubt das Plug-in, Spark Jobs nachzuvollziehen und die wichtigsten Informationen der Cluster- und Storage-Konfiguration einzusehen. Aus den IDEs heraus lassen sich darüber hinaus Dateien in HDFS-, S3- sowie weiteren kompatiblen Speichersystemen durchsuchen und verwalten. Neu in den Big Data Tools ist auch Support für spaltenorientierte Open-Source-Datenspeicherformate wie beispielsweise Apache Parquet, die typischerweise in Hadoop-Umgebungen zum Einsatz kommen.
(map)
