Datamining in eigenen Gendaten mit dem Python-Framework Pandas
Wer sein Genom sequenzieren lässt, bekommt die Rohdaten als CSV-Datei mit hunderttausenden Zeilen. Das Python-Framework Pandas kann damit umgehen.
(Bild: Albert Hulm)
- Pina Merkert
Sequenzierungsdienste fürs eigene Genom können einem bei der Ahnenforschung unter die Arme greifen und möglicherweise sogar helfen, das Risiko für manche erbliche Krankheiten einzuschätzen. Neben hübsch aufbereiteten Zusammenfassungen liefern die Anbieter auch Rohdaten, die sie als CSV-Dateien von circa 20 Megabyte Größe verschicken. So große Dateien verarbeiten Excel, LibreOffice und Konsorten nicht mehr in erträglicher Geschwindigkeit. Das Python-Framework Pandas dagegen setzt unter der Haube auf die effizienten Datenmodelle von Numpy und analysiert Tabellen dieser Größe daher in Sekundenbruchteilen.
Zwecks Analyse ihrer DNA haben wir Proben an mehrere Ahnenforschungs-Plattformen geschickt und mir von jedem Anbieter einen Satz mit Rohdaten zur Auswertung ausgehändigt. Die Dateien nutzen leicht unterschiedliche Formate, mal kommasepariert, mal mit Tabs, mal mit getrennt gelisteten Allelen (eine Base von den Genen der Mutter, eine von denen des Vaters), mal mit beiden Basen als String aus zwei Großbuchstaben.
Die Daten enthalten kein vollständiges Genom, sondern Zeilen mit SNPs, also den Basen interessanter Mutationen. Die Anbieter ordnen jedem SNP eine Bedeutung beispielsweise für ein Krankheitsrisiko zu. Zu einem Identifier für das SNP wie "rs4475691" steht in den Daten jeweils die Position im Genom als Zahl (846808) und das Chromosom, in dem das Basenpaar vorkommt (Nummer 1). Damit Sie den in diesem Artikel erklärten Pandas-Code nachvollziehen können, ohne gleich Ihr Genom analysieren zu lassen, finden Sie auf GitHub CSV-Dateien im gleichen Format, aber mit künstlich erzeugten, zufälligen Angaben zu den Basen.
Immer mehr Wissen. Das digitale Abo für IT und Technik.
Security: Passkeys mit Open-Source-Tools nutzen
Mehr Ertrag aus der PV-Anlage: Das bringen Leistungsoptimierer
Fremdsprachen lernen: Wie man ChatGPT zum Sprechtrainer aufrüstet
Drei KI-Sprechtrainer im Test: Fremdsprache mit KI lernen
Copilot-Alternativen: Welche KI bei Office-Aufgaben besser helfen kann
Prepaid, Debit, Credit: Wie Sie die passende Kreditkarte finden
Immer mehr Wissen. Das digitale Abo für IT und Technik.
Security: Passkeys mit Open-Source-Tools nutzen
Mehr Ertrag aus der PV-Anlage: Das bringen Leistungsoptimierer
Fremdsprachen lernen: Wie man ChatGPT zum Sprechtrainer aufrüstet
Drei KI-Sprechtrainer im Test: Fremdsprache mit KI lernen
Copilot-Alternativen: Welche KI bei Office-Aufgaben besser helfen kann