Datenmanagement für KI: Machine-Learning-Versionierung mit Data Version Control
Änderungen an Code, Daten und Modellen müssen nachvollziehbar und reproduzierbar sein, damit bei der KI-Entwicklung die Übersicht gewahrt bleibt.
- Nico Axtmann
In klassischen Softwareprojekten gehören Tools wie Git für die Codeverwaltung zum Standardrepertoire. Bei KI-Projekten ist darüber hinaus die Verwaltung von Daten und Modellen wichtig. Denn schließlich sollten alle Schritte der Datenaufbereitung und Modellentwicklung reproduzierbar sein, um Fehler zu vermeiden, Pipelines robuster zu gestalten und Modelle schneller von der Entwicklung in die Produktion zu bringen.
Gegenüber der Softwareentwicklung gibt es bei Data Science und KI zwei wesentliche Unterschiede. Erstens arbeiten Data Scientists mit Daten, Code und Modellen in Form interaktiver Experimente. Zum Zweiten eignet sich Git als das mit weitem Abstand populärste Versionskontrollsystem nicht zur Verwaltung großer Datenmengen und von Daten im Binärformat, die bei der KI-Entwicklung nötig ist. Nicht zuletzt deshalb sind in der Branche Antipatterns wie die händische Verwaltung von Datensätzen oder das ineffiziente Experiment Tracking in Excel-Tabellen weit verbreitet.
Data Version Control (DVC) ist eine Open-Source-Software zur Versionsverwaltung, die speziell auf KI und Data Science zugeschnitten ist. Sie ist eng mit Git verzahnt, das nach wie vor die Verwaltung des Codes übernimmt. DVC erweitert Git und ist für das Tracking von Daten, Modellen und Experimenten zuständig. Die Software arbeitet sprachunabhängig und setzt auf dem Entwicklungsrechner lediglich Git und Python voraus.
Immer mehr Wissen. Das digitale Abo für IT und Technik.
Karrierewechsel: Warum sich ein Informatikstudium auch für Quereinsteiger lohnt
Boox Note Air3 C im Test: Hybrid-Tablet mit farbigem E-Paper-Display
Vektor-Icons für die eigene Website generieren: Bild-KIs im Test
Im Test: Zehn USB-SSDs und -Sticks mit 1 oder 2 TByte Speicherplatz
Elektroauto MG4 Trophy im Test: Bestseller mit Batterie-Upgrade
CPU-Guide 2024: Notebook-Prozessoren von AMD, Apple und Intel im Vergleich
Immer mehr Wissen. Das digitale Abo für IT und Technik.
Karrierewechsel: Warum sich ein Informatikstudium auch für Quereinsteiger lohnt
Boox Note Air3 C im Test: Hybrid-Tablet mit farbigem E-Paper-Display
Vektor-Icons für die eigene Website generieren: Bild-KIs im Test
Im Test: Zehn USB-SSDs und -Sticks mit 1 oder 2 TByte Speicherplatz
Elektroauto MG4 Trophy im Test: Bestseller mit Batterie-Upgrade