Chips nur für künstliche Intelligenz
Mit Deep Learning lassen sich immer neue Probleme in den Griff bekommen. Speziell dafür entwickelte Hardware soll das Trainieren von Modellen dafür jetzt noch viele Male schneller machen.
(Bild: Argonne National Laboratory)
- Karen Hao
Im Argonne National Laboratory ungefähr 50 Kilometer entfernt von Chicago versuchen Wissenschaftler, Herkunft und Entwicklung des Universums zu verstehen. Außerdem wollen sie langlebigere Batterien und Präzisionsmedikamente gegen Krebs entwickeln.
Denn alle diese unterschiedlichen Probleme haben Eines gemeinsam: Sie sind aufgrund ihrer schieren Größe schwierig zu lösen. Bei der Medikamentenentwicklung wird geschätzt, dass es mehr potenziell wirksame Moleküle geben könnte als Atome im Sonnensystem. Für das Durchsuchen eines so riesigen Möglichkeitsraums in menschlichen Zeitspannen sind schnelle und riesige Computer erforderlich. Bis vor kurzem reichte die Leistung dafür nicht aus, was die Aufgabe ziemlich unlösbar machte.
Muster in Massen von Daten
In den vergangenen Jahren aber hat sich die Situation durch künstliche Intelligenz verändert. Deep-Learning-Algorithmen sind hervorragend darin, rasch Muster in Massen von Daten zu finden, was wichtige Prozesse der wissenschaftlichen Entdeckung beschleunigt hat. Und jetzt steht zusätzlich zu verbesserter Software auch eine Hardware-Revolution am Horizont.
Vergangene Woche kündigte das Argonne-Labor an, dass es mit Tests eines neuen Computers vom Start-up Cerebras begonnen hat, der das Training von Deep-Learning-Algorithmen um mehrere Größenordnungen beschleunigen soll. Im Inneren des Computers befindet sich der größte Chip der Welt. Er gehört zu einer neuen Generation von spezialisierter KI-Hardware, die erst jetzt zum Einsatz kommt.
"Unser Interesse ist, die KI-Anwendungen zu beschleunigen, die wir für wissenschaftliche Probleme haben", sagt Rick Stevens, stellvertretender Labordirektor für Computing, Umwelt und Life Sciences. "Wir haben riesige Datenmengen und große Modelle, und wir wollen ihre Performance vorantreiben."
Deep Learning mit neuen Chips
Derzeit werden als Chips für Deep Learning meist so genannte Graphics Processing Units (GPUs) verwendet. Diese sind hervorragende Parallel-Prozessoren. Vor ihrer Verwendung in der KI-Welt wurden sie überwiegend für Spiele und Grafikproduktion eingesetzt. Zufälligerweise brauchten sie für das schnelle Rendern von Pixeln dieselben Eigenschaften, die sie auch bei Deep Leraning zur ersten Wahl machten.
Allgemein aber sind GPUs für verschiedene Zwecke geeignet. Zwar haben sie mit Erfolg die KI-Revolution dieses Jahrzehnts vorangetrieben, aber sie sind nicht dafür optimiert. Diese Ineffizienz begrenzt die Geschwindigkeit, mit der GPUs Algorithmen für Deep Learning ausführen können und sorgt dafür, dass sie dabei einen riesigen Energiebedarf haben.
Als Reaktion darauf ist unter Unternehmen ein Rennen darum ausgebrochen, neue Chip-Architekturen speziell für künstliche Intelligenz zu entwickeln. Mit der richtigen Auslegung könnten sie Deep-Learning-Modelle 1000-mal schneller trainieren und würden deutlich weniger Energie benötigen. Cerebras gehört zu einer langen Liste von Unternehmen, die versuchen, diese Gelegenheit zu nutzen. Weitere Start-ups in diesem Bereich sind Graphcore, SambaNova und Groq, größere Anbieter Intel oder Nvidia.
Chip größer als ein iPad
Um Erfolg zu haben, muss ein neuer KI-Chip mehrere Kriterien erfüllen, erklärt Stevens. Mindestens müsse er bei der Arbeit mit den Modellen des Labors 10- bis 100-mal schneller sein als die bisherigen Prozessoren. Viele der spezialisierten Chips sind für den Einsatz bei kommerziellem Deep Learning optimiert, etwa für maschinelles Sehen und Sprachausgabe, was sie nicht unbedingt gut geeignet für Daten aus wissenschaftlicher Forschung macht. "Wir haben viele Datensätze mit höheren Dimensionen", sagt Stevens. Sie verknüpfen also unterschiedlichste Datenquellen und sind viel komplexer zu verarbeiten als etwa zweidimensionale Fotos.
Außerdem muss der KI-Chip zuverlässig und leicht einzusetzen sein. "Bei uns im Labor arbeiten tausende Leute mit Deep Learning, und nicht jeder davon ist ein Programmier-Ninja", sagt Stevens. "Können die Leute den Chip nutzen, ohne viel Zeit damit zu verbringen, neue Programmierungen zu lernen?", müsse man also fragen.
Bislang hat sich der Cerebras-Computer bewährt. Sein Chip ist größer als ein iPad und hat 12 Billionen Transistoren für Berechnungen. Dadurch müssen nicht mehrere kleinere Prozessoren zusammengeschaltet werden, was das Trainieren von Modellen verlangsamen kann. In Tests konnte der Zeitaufwand schon von Wochen auf Stunden reduziert werden. "Wir wollen diese Modelle schnell genug trainieren können, dass der Wissenschaftler, der das Training betreibt, hinterher noch weiß, wie die Frage für das Training lautete", sagt Stevens.
Vorhersagen für Behandlungsmethoden
Zunächst testet das Argonne Lab den Computer in seiner Krebsmedikament-Forschung. Ziel ist die Entwicklung eines Deep-Learning-Modells, dass vorhersagen kann, wie ein Tumor auf einen Wirkstoff oder eine Kombination reagiert. Das Modell lässt sich dann auf zweierlei Weise nutzen: zur Entwicklung neuer Wirkstoffkandidaten, die den gewünschten Effekt auf Tumore haben könnten, oder zur Vorhersage der Wirkung einzelner Wirkstoffe auf viele unterschiedliche Tumorarten.
Lesen Sie mehr zu Künstlicher Intelligenz und Chip-Entwicklung:
Stevens erwartet, dass sich mit dem Cerebras-System sowohl Entwicklung als auch Einsatz des Krebsmedikament-Modells drastisch beschleunigen lassen. Um Vorhersagen zu jedem Wirkstoff-Kandidaten zu machen, müsste das Modell hunderttausende Male trainiert werden und dann weitere Milliarden Male laufen.
Außerdem hofft der stellvertretende Direktor, dass das System auch die Forschung des Labors bei anderen Themen stärken wird, zum Beispiel bei Batterie-Materialien und traumatischen Hirnverletzungen. Für das erste Gebiet muss ein KI-Modell zur Vorhersage der Eigenschaften von Millionen von Molekülkombinationen entwickelt werden, um Alternativen zur Lithium-Ionen-Chemie zu finden. Für die Hirnmedizin braucht man ein Modell zur Vorhersage der besten Behandlungsoptionen. Diese Aufgabe ist erstaunlich schwierig, weil dafür sehr viele unterschiedliche Arten von Daten sehr schnell verarbeitet werden müssen – Hirn-Scans, Biomarker oder Text etwa. Auf jeden Fall ist Stevens begeistert vom Potenzial der Kombination aus KI-Software und Fortschritten bei Hardware für wissenschaftliche Forschung. "Es wird dramatische Auswirkungen auf die Praxis wissenschaftlicher Simulationen haben", sagt er.
(sma)
