Visualisierung und Manipulation großer Datenmengen im Häppchenverfahren
US-Forscher haben einen neuen Algorithmus geschaffen, mit dem sich auch komplexeste Informationen auf normalen Laptops darstellen lassen sollen.
In einigen Bereichen der Forschung leidet die Wissenschaft unter einem besonderen Problem: Der Anhäufung zu vieler Daten. Experimente und Computersimulationen, die enorm komplexe Phänomene wie die Dynamik des Klimawandels oder die Faltung großer Proteinmoleküle verständlich machen sollen, ergeben Milliarden einzelner Informationshäppchen. Es wird stetig schwieriger, aus diesen Daten Sinnvolles heraus zu lesen.
Forscher an der University of California in Davis und am Lawrence Livermore National Laboratory haben deshalb nun eine Software entwickelt, die die Analyse und Visualisierung großer Datenmengen ermöglichen soll, ohne dass man dazu einen Supercomputer bemühen müsste. Die US-Wissenschaftler zerlegen die Daten dazu mit Hilfe spezieller Algorithmen in leichter handhabbare Stückchen, die sich dann "on the fly" wieder zusammensetzen lassen. Zahlenmaterial lässt sich auf diese Art in drei Dimensionen manipulieren, wozu nur die Leistung und Speicherkapazität eines aktuellen High-End-Laptops notwendig ist, berichtet das Technologiemagazin Technology Review in seiner Online-Ausgabe.
Die Software setzt dazu auf ein mathematisches Werkzeug, das Morse-Smale-Komplex genannt wird. Es wird seit rund vier Jahren verwendet, um Elemente großer Datensätze zu extrahieren und zu visualisieren, indem sie in Segmente sortiert werden, die mathematisch ähnliche Eigenschaften besitzen. Das Problem: Obwohl der Morse-Smale-Komplex bereits seit längerem bekannt ist, benötigt er normalerweise so große Speichermengen, dass sich die notwendigen Berechnungen auf einem normalen Computer nicht mehr durchführen lassen.
Teamleiter Attila Gyulassy und seine Kollegen fanden nun eine Lösung für dieses Speicherproblem: Sie schrieben einen Algorithmus, der die Datensätze auseinander nimmt, bevor sie in den Komplex gefüttert werden. Die Blöcke lassen sich dann wieder zusammensetzen. Das bedeutet, dass nur eine geringe Datenmenge bei jedem Schritt benötigt wird, so dass man auch nur relativ wenig Speicher braucht. Im Endergebnis läuft die Software so bereits auf einem Desktop-Rechner mit nur 2 Gigabyte RAM.
Mehr zum Thema in Technology Review online:
(bsc)
