Eigene KI-Chips statt Nvidia-GPUs: OpenAI will sich angeblich abnabeln
Das Training für ChatGPT könnte künftig auf Custom-Chips von OpenAI laufen. Die Firma soll schon seit 2022 über Alternativen zu Nvidia sinnieren.
(Bild: cherezoff / Shutterstock.com)
OpenAI braucht mehr Hardware für die Weiterentwicklung seiner KI-Algorithmen, allen voran GPT und dem zugehörigen Chatbot ChatGPT. Dazu eruiert OpenAI offenbar mehrere Wege, die meisten davon würden die Abhängigkeit von Nvidia verringern. Dessen Server-GPUs mit integrierten KI-Rechenwerken sind derzeit heiß begehrt, auch wegen Nvidias zugehöriger Software. Derzeit kann die Firma die Nachfrage nicht bedienen.
Die Nachrichtenagentur Reuters will von internen Quellen erfahren haben, dass OpenAI schon seit 2022 nach Alternativen sucht. Eine Option wäre die Entwicklung eigener Chips, die sich für das Training großer Sprachmodelle eignen.
Solche Beschleuniger sind im Vergleich zu CPUs und GPUs simpel aufgebaut. Die Rechenwerke müssen nicht zig Instruktionen beherrschen, sondern schlicht massenweise Matrixmultiplikationen berechnen und aufaddieren (Multiply-Accumulate, MAC). In spezialisierten KI-Beschleunigern sitzen häufig unzählige identische Rechenwerke mit SRAM-Cache, gegebenenfalls von ARM- oder RISC-V-Kernen gesteuert. Chipauftragsfertiger wie TSMC helfen heutzutage beim Design.
Um den Entwicklungsprozess zu beschleunigen, soll sich OpenAI bereits KI-Chipentwickler als mögliche Übernahmekandidaten genauer angesehen haben. Trotzdem dürften Jahre vergehen, bis eine Eigenentwicklung Früchte tragen würde.
Mehr Zulieferer
Alternativ will OpenAI offenbar weitere Zulieferer finden. Unter den Chipriesen käme etwa AMD mit seiner kommenden Instinct MI300 infrage, Intel hat inzwischen den jahrelang verzögerten Ponte Vecchio im Portfolio. Außerdem gibt es zig kleinere Firmen wie Cerebras und Graphcore.
Microsoft hat angeblich einen eigenen KI-Beschleuniger entwickelt, den auch OpenAI testet. Er verdeutlicht den Trend zu immer mehr Eigenentwicklungen: Amazon etwa hat bisher zwei Generationen aufgelegt (Trainium, Inferentia), Google eine (Tensor Processing Units, TPU genannt).
Auch ein Kuschelkurs mit Nvidia wäre laut Reuters denkbar, der jedoch die Abhängigkeit verstärken könnte.
Supercomputer von Microsoft
OpenAI arbeitet beim KI-Training eng mit Microsoft zusammen. Im Jahr 2020 hat Microsoft einen Supercomputer speziell für den Partner gebaut. Ursprünglich hat er 10.000 Nvidia-GPUs vom Typ V100 (Volta) verwendet – kombiniert mit Tausenden Epyc-Prozessoren von AMD. Microsoft spricht von 285.000 CPU-Kernen, wahrscheinlich aus der Zen-2-Generation (Epyc 7002, Rome).
Die V100 war Nvidias erste GPU mit integrierten Tensor-Cores für KI-Berechnungen. Inzwischen ist die Firma mit A100 und H100 zwei Generationen weiter, in die Microsoft investiert – wovon auch OpenAI profitiert.
(mma)