Parallelisierte Rechenpower fürs maschinelle Lernen
Massiv paralleles Rechnen ist die Paradedisziplin von GPUs. Nicht nur aus diesem Grund kommt Machine Learning nicht ohne sie aus.
- Daniel Menzel
HPC und Machine Learning begegnen der Komplexität der Aufgaben mit derselben Strategie: Parallelisierung oder besser: massiver Parallelisierung. Wo sich etwa mathematische Probleme aus den Ingenieurs- und Naturwissenschaften nicht als Formel geschlossen berechnen lassen, hilft nur eine numerische Annäherung, bei der man die Aufgabe in viele kleine, handhabbare mathematische Teilaufgaben unterteilt.
Grundsätzlich möchte man meinen, dass es genau dafür CPUs gebe: Sie sind als ein Stück Hardware so konzipiert, dass sie möglichst viele verschiedene Formen von Programmabläufen abarbeiten können, und das möglichst effizient. Doch ist Software selten so effizient wie die entsprechende optimierte Hardware. Deshalb gibt es in CPUs spezielle Register für AES-Verschlüsselung oder auf Netzwerkkarten das TCP-Offloading – eben, weil diese immer wiederkehrenden Funktionen jeden Tag tausend- und millionenfach aufgerufen werden und es sich lohnt, sie in Hardware auszulagern.
Einen ähnlichen Weg gehen Entwickler und Forscher im HPC mit Beschleunigerkarten und FPGAs: Wiederkehrende Funktionen, die zum Abarbeiten der jeweiligen Aufgaben regelmäßig gebraucht werden und damit potenziell zeitkritisch sind, lagern sie auf spezielle Hardware aus – sofern das eben möglich ist. Dabei bedienen sie sich gerne auch fachfremden Techniken – das Rad muss ja nicht immer neu erfunden werden.
Immer mehr Wissen. Das digitale Abo für IT und Technik.
Wärmepumpe simpel und effektiv: Über die Rolle von Dämmung, Solar und Co.
OpenCore Legacy Patcher: Wie Sie alte Macs mit jungem macOS aufbrezeln
Custom-ROM "GrapheneOS" vorgestellt: Android ganz privat
Boox Note Air3 C im Test: Hybrid-Tablet mit farbigem E-Paper-Display
Proxmox VE: Was es kann und was man dafür braucht
Karrierewechsel: Warum sich ein Informatikstudium auch für Quereinsteiger lohnt
Immer mehr Wissen. Das digitale Abo für IT und Technik.
Wärmepumpe simpel und effektiv: Über die Rolle von Dämmung, Solar und Co.
OpenCore Legacy Patcher: Wie Sie alte Macs mit jungem macOS aufbrezeln
Custom-ROM "GrapheneOS" vorgestellt: Android ganz privat
Boox Note Air3 C im Test: Hybrid-Tablet mit farbigem E-Paper-Display
Proxmox VE: Was es kann und was man dafür braucht