KI-Update Deep-Dive: Kleine Teilchen, große Wirkung - der KI-Prozessor
Der aktuelle KI-Hype wäre unmöglich, wenn nicht die Hardwareentwicklung den Punkt erreicht hätte, an dem sie die Berechnungen für das Training leisten kann.
Bei all den Neuigkeiten zu Entwicklungen von und Anwendungsgebieten für generative Künstliche Intelligenz kommt ein kleines Teilchen manchmal zu kurz: der Prozessor! Der aktuelle Hype wäre gar nicht möglich, wenn nicht vorher die Hardwareentwicklung den Punkt erreicht hätte, an dem sie die Berechnungen für das Training von KI überhaupt leisten kann. Denn normale Prozessoren sind viel zu langsam. Für das maschinelle Lernen sind spezielle Rechenbeschleuniger unabdingbar. Wer also Zugang zu den nötigen Halbleitern hat, hat bei der aktuellen Entwicklung die Nase vorn. Darum widmen wir uns im Deep Dive des KI-Updates in dieser Woche diesen kleinen Bauteilen, die eine so große Wirkung haben und dazu begrüße ich meinen Kollegen Christof Windeck aus dem Hardware-Ressort der c’t.
Empfohlener redaktioneller Inhalt
Mit Ihrer Zustimmmung wird hier ein externer Podcast (Podigee GmbH) geladen.
Ich bin damit einverstanden, dass mir externe Inhalte angezeigt werden. Damit können personenbezogene Daten an Drittplattformen (Podigee GmbH) übermittelt werden. Mehr dazu in unserer Datenschutzerklärung.
Es begann alles mit Grafikkarten. "Die waren ja eigentlich nur als sogenannte 3D-Beschleuniger früher in Computer eingebaut", erklärt Christof Windeck. Und als solche waren sie vor allem für Gamer interessant. Aus ihnen entwickelte sich die Idee der General Purpose GPU. Diese besteht aus vielen parallelen Rechenwerken und wurde immer besser programmierbar. Darum wurden diese GP-GPUs auch nicht mehr nur für 3D-Grafik verwendet, sondern für allgemeine Rechenaufgaben.
Das wurde über Jahrzehnte immer weiter optimiert. "Bei den heutigen KI-Beschleunigern geht es vor allem um Matrix-Multiplikationen, die man sehr schön parallelisieren kann und dafür haben diese Rechenbeschleuniger Spezialrechenwerke, die sozusagen dem Spieler gar nichts mehr nutzen." Für einen KI-Supercomputer werden diese superspezialisierten Rechenwerke mit super schnellem Speicher und einer super schnellen Schnittstelle zu Tausenden zusammengeschaltet. "Also, wir reden wirklich über Rechencluster, die im Moment aufgebaut werden, mit mehreren Tausend dieser Karten, die auch über eine Milliarde US-Dollar kosten."
Big Tech big im Rennen
Jeder, der das Geld hat, (Meta, OpenAI, Google...) – möchte nun ein Stück von diesem Kuchen haben, um möglichst schnell ein eigenes KI-Modell trainieren zu können. Aber wo bleiben da kleinere Unternehmen, die nicht die nötigen finanziellen Mittel haben? Der c’t-Experte erklärt mir, dass die großen Firmen da zum einen anbieten: "Leute, ihr seht ja schon, ihr habt keine Chance. Kommt doch einfach zu uns. Mietet oder kauft unsere Modelle und dann könnt ihr da ein bisschen Fine-Tuning machen." Es gibt aber auch Stimmen, die sagen, die KI-Modelle müssten viel besser optimiert werden. So entstünden schlanke Modelle, die aber genau auf einen Zweck zugeschnitten sind, oder andere Aspekte als die großen Modelle berücksichtigen.
Dass der Markt zur Zeit von einigen wenigen großen Firmen hauptsächlich aus den USA und China dominiert wird, ist unbestreitbar. Aber Christof Windeck sieht in der Zukunft trotzdem noch eine Chance für kleinere Unternehmen auch hierzulande. "Gerade der deutsche Mittelständler ist einer, der bei der IT immer erst in der dritten Reihe kommt. Und damit ja nicht schlecht fährt. Also die Vergangenheit zeigt, dass das gar nicht unbedingt in jedem Fall alles mit massiver Umstellung im ersten Schuss gelöst werden muss." Die Zukunft wird zeigen, welche Modelle in welcher Größe für welche Firma überhaupt sinnvoll und vor allem wirtschaftlich sinnvoll sind. "Es gibt die Rechenleistungen und es gibt Leute mit viel Geld. Also nutzen sie die. Aber ob genau diese großen Modelle in dieser Form nun die Zukunft sind, das muss sich erst noch zeigen."
(igr)
