Parallelisierte Rechenpower fürs maschinelle Lernen

Inhaltsverzeichnis

HPC und Machine Learning begegnen der Komplexität der Aufgaben mit derselben Strategie: Parallelisierung oder besser: massiver Parallelisierung. Wo sich etwa mathematische Probleme aus den Ingenieurs- und Naturwissenschaften nicht als Formel geschlossen berechnen lassen, hilft nur eine numerische Annäherung, bei der man die Aufgabe in viele kleine, handhabbare mathematische Teilaufgaben unterteilt.

Grundsätzlich möchte man meinen, dass es genau dafür CPUs gebe: Sie sind als ein Stück Hardware so konzipiert, dass sie möglichst viele verschiedene Formen von Programmabläufen abarbeiten können, und das möglichst effizient. Doch ist Software selten so effizient wie die entsprechende optimierte Hardware. Deshalb gibt es in CPUs spezielle Register für AES-Verschlüsselung oder auf Netzwerkkarten das TCP-Offloading – eben, weil diese immer wiederkehrenden Funktionen jeden Tag tausend- und millionenfach aufgerufen werden und es sich lohnt, sie in Hardware auszulagern.

Mehr zu Rechenzentren

• Job-Queuing mit dem Workload Manager Slurm
• Von High Performance Computing lernen – Machine Learning im Rechenzentrum
• IT-Infrastruktur im RZ: Netze modernisieren nicht nur für ML
• Parallelisierte Rechenpower fürs maschinelle Lernen
• Das richtige Storage-Design für Machine Learning
• Interview: Sind IT-Raumsysteme eine Alternative zum RZ-Neubau?
• Rechenzentrums-Infrastruktur: Tier-Verfügbarkeitsklassen von Rechenzentren
• Energieeffiziente RZs: Flüssigkeitsgekühlte Serverracks in der Marktübersicht
• Eigene Server im fremden Rechenzentrum: Colocation für optimales Hosting nutzen

Daniel Menzel

Daniel Menzel ist Geschäftsführer der Menzel IT GmbH aus Berlin und baut mit seinem Team HPC-, ML- und Private-Cloud-Computing-Cluster.

Einen ähnlichen Weg gehen Entwickler und Forscher im HPC mit Beschleunigerkarten und FPGAs: Wiederkehrende Funktionen, die zum Abarbeiten der jeweiligen Aufgaben regelmäßig gebraucht werden und damit potenziell zeitkritisch sind, lagern sie auf spezielle Hardware aus – sofern das eben möglich ist. Dabei bedienen sie sich gerne auch fachfremden Techniken – das Rad muss ja nicht immer neu erfunden werden.

Das war die Leseprobe unseres heise-Plus-Artikels "Parallelisierte Rechenpower fürs maschinelle Lernen". Mit einem heise-Plus-Abo können sie den ganzen Artikel lesen und anhören.