Wie ChatGPT und Co. künftig energiesparsamer rechnen könnten
Die Leistungen der großen Sprachmodelle haben einen immensen Energiehunger, den Forscher nun im Detail untersuchen, um ihn reduzieren zu können.
- Thomas Brandstetter
Forscher von Google haben 2017 im Fachartikel "Attention is all you need" ihr erstes Konzept eines Transformermodells präsentiert und damit die Welt der Computerlinguistik auf den Kopf gestellt. Zuvor konnten KI-Algorithmen nur ein Wort eines Textes nach dem anderen analysieren. Die neuen Modelle waren in der Lage, ganze Sätze zu erfassen und haben damit Chatbots wie ChatGPT ermöglicht.
Doch die Sache hat einen Haken. Einige aktuelle Sprachmodelle bestehen aus weit über hundert Milliarden Parametern. Während eines langwierigen Trainingsprozesses analysieren sie riesige Textmengen. Das Training von GPT-3 hat 1287 Megawattstunden an elektrischer Energie verbraucht, das entspricht in etwa der Menge, die ein mittleres Atomkraftwerk in einer Stunde produziert. Und damit fängt es erst an.
In den ersten zwei Monaten nach seiner Einführung hatte der Chatbot bereits 100 Millionen Nutzer gefunden und benötigte Schätzungen zufolge jeden Tag 564 weitere Megawattstunden an elektrischer Energie, um seinen Dienst aufrechtzuerhalten.
Das war die Leseprobe unseres heise-Plus-Artikels "Wie ChatGPT und Co. künftig energiesparsamer rechnen könnten". Mit einem heise-Plus-Abo können sie den ganzen Artikel lesen und anhören.