Data Science: DataFrames.jl ist Julias Antwort auf Pythons pandas

Julia Computing hat Version 1.0 von DataFrames.jl verkündet. Das von der Community entwickelte Open-Source-Paket bietet eine Reihe von Werkzeugen zum Verarbeiten tabellarischer Daten mit der Programmiersprache Julia. Sein Design und die Funktionsweise sind an die Python-Library pandas angelehnt. Der Sprung auf Version 1.0 markiert eine ausreichende Reife für den produktiven Einsatz und stabilisiert die API. Außerdem soll das Release deutlich performanter arbeiten als die vorherige Version 0.22. Das Release bringt ansonsten vor allem Bugfixes und Bereinigungen der APIs mit.

Julia ist eine dynamische Programmiersprache und akuell in Version 1.6 verfügbar. Sie funktioniert zwar als General Purpose Language, ist aber vor allem auf numerische und wissenschaftliche Anwendungen ausgelegt. Julia will die Vorzüge dynamischer und statischer Sprachen vereinen. Für die Bereiche Statistik und Data Science existieren einige Libraries, von denen zahlreiche innerhalb der Standardbibliothek von Julia eingebunden sind.

DataFrames.jl zielt auf typische Data-Science-Anwendungen und soll vor allem für diejenigen den Weg zu Julia ebnen, die bereits Anwendungen in Python mit pandas oder in R mit data.frame, data.table und dplyr in R entwickelt haben. Das Paket bietet eine Anbindung an zahlreiche Julia-Libraries für die Datenverarbeitung in den Bereichen Statistik und Machine Learning.

Platzhirsch pandas als Vorbild

Im Python-Ökosystem spielt pandas eine maßgebliche Rolle für Data-Science-Anwendungen. Die Library ist zwar erst Anfang 2020 in Version 1.0 erschienen, befand sich aber weit vor dem Versionssprung in zahlreichen Projekten im produktiven Einsatz. Ihre Geschichte geht ins Jahr 2008 zurück – vier Jahre vor den Anfängen der Programmiersprache Julia.

Für Julia existieren zahlreiche Libraries, da die Maintainer der Sprache auf einen schlanken Kern setzen, den Entwicklerinnen und Entwickler um passende Bibliotheken erweitern können. Data Frames ist unter anderem auf das Zusammenspiel mit dem Statistikmodul der Standard-Library von Julia Statistics ausgelegt. Daneben bietet es eine Integration mit den ebenfalls in der Standardbibliothek verankerten Modulen Linear Algebra und Sparse Arrays. Die Anbindung an das Meta-Package zum Verwenden zahlreicher statistischer Pakete StatsKit.jl ist ebenfalls vorgesehen.

Sonderheft zu Machine Learning

Das iX-Developer-Sonderheft "Machine Learning" behandelt auf 148 Seiten unter anderem ML-Frameworks, Textanalyse, Reinforcement Learning und die Produktivstellung von Modellen. Im Fokus steht die praktische Anwendung, und zu den meisten Artikeln existieren Jupyter-Notebooks als Basis für eigene ML-Projekte.

Ein Artikel widmet sich den Vorzügen, die die Programmiersprache Julia für Machine-Learning-Anwendungen mitbringt. Ein weiterer Text behandelt detailliert die Data-Science- und ML-Pakete für Python.

Für Machine-Learning-Anwendungen lässt sich DataFrames.jl mit dem ML-Framework MLJ.jl kombinieren. Das ScikitLearn.jl spannt den Bogen zu einer weiteren wichtigen Python-Library und dient als Wrapper für scikit-learn. Für mathematische Darstellungen dient das Paket Plots.jl, das sich syntaktisch an der Python-Library matplotlib orientiert.

Julias alternative Datenverarbeitung

Die Seite zu DataFrames.jl weist auf zwei weitere Pakete zur Verarbeitung tabellarischer Daten hin, die für andere Zwecke besser geeignet sind. JuliaDB.jl ist für große Datenmengen ausgelegt, die nicht in den Arbeitsspeicher passen – auch hierfür gibt es ein Pendant in der Python-Welt mit Dask. Schließlich soll TypedTables.jl Tabellen mit relativ stabilen Strukturen und einer überschaubaren Anzahl Spalten besonders performant verarbeiten.

Details zu DataFrames.jl 1.0 lassen sich der Dokumentationsseite entnehmen. Die Neuerungen im 1.0-Release finden sich in den Release Notes auf GitHub. Das Paket lässt sich über die interaktive Kommandozeile der Programmiersprache Julia REPL (Read-Eval-Print Loop) folgendermaßen installieren:

using Pkg; Pkg.add("DataFrames")

Die Dokumentationsseite führt einige Beispielanwendungen und Tutorials auf, die den Einstieg in die Arbeit mit dem Paket vereinfachen sollen.

[Update 4.5. 12:00 Uhr] Der Anfang wurde angepasst, um darauf hinzuweisen, dass es sich um ein Community-Projekt handelt.

(rme)