Programmieren mit Python: Große Datenmengen verwalten mit vaex

Inhaltsverzeichnis

Die Python-Bibliothek pandas mit ihren zahlreichen Funktionen zum Umgang mit umfangreichen Datensätzen hat sich als Standard in der Data Science etabliert. Wer sich an die teilweise etwas spröde Bibliothek gewöhnt hat, kann sehr effizient damit arbeiten und viele Standardprobleme in der Datenvorbereitung und -analyse elegant lösen. pandas arbeitet dabei sehr schnell, weil es die Daten in DataFrames im Arbeitsspeicher hält.

Python-Bibliotheken

• KI-Dokumentanalyse: Python-Bibliothek Deepdoctection erleichtert Tool-Zugriff
• Schnelle Machine-Learning-Demos mit Python-Bibliothek Gradio erstellen
• Datenqualität mit Python sichern
• Python: Mit vaex große Datenmengen verwalten
• Qualitätsgesicherte Machine-Learning-Workflows mit PyDeequ
• Matplotlib für Einsteiger: So erzeugen Sie ganz einfach Diagramme mit Python
• Python für Datenanalysen: Effiziente Aufbereitung von Rohdaten mit pandas

Bei sehr großen Datensätzen passen die Daten aber irgendwann nicht mehr in den Speicher. Oft ist es einen Versuch wert, sich auf relevante Teile der Daten zu beschränken – aber das ist nicht immer möglich. Besonders bei der Datenaggregation kommt es oft zu Problemen. Perfekt wäre eine Bibliothek, die kompatibel mit pandas ist, aber bei Bedarf mit Daten im nichtflüchtigen Speicher arbeitet. Genau das leistet vaex.

Dabei ist vaex sehr schnell. Auch DataFrames, die nicht im Arbeitsspeicher liegen, können häufig mit 10⁹ Zeilen pro Sekunde und schneller verarbeitet werden: In vielen Anwendungsfällen stehen Ergebnisse praktisch unmittelbar zur Verfügung. vaex ist dabei außerdem äußerst effizient und berechnet Spalten erst dann, wenn sie wirklich benötigt werden. Das kann erhebliche Berechnungszeit sparen, aber in einzelnen Fällen auch dazu führen, dass Wartezeit entsteht, wenn man gar nicht damit rechnet.

Das war die Leseprobe unseres heise-Plus-Artikels "Programmieren mit Python: Große Datenmengen verwalten mit vaex". Mit einem heise-Plus-Abo können sie den ganzen Artikel lesen und anhören.