CO2-Fußabdruck: Wie groß die Emissionen von KI-Modellen wirklich sind

Das Start-up Hugging Face hat erstmals versucht, die Emissionen eines Sprachmodells ganzheitlich zu messen. Das soll Wege für neue KI-Modelle aufzeigen.

In Pocket speichern vorlesen Druckansicht 10 Kommentare lesen

(Bild: sdecoret / shutterstock.com)

Lesezeit: 6 Min.
Von
  • Melissa Heikkilä

Komplexe Sprach-KIs, die sogenannten Large Language Models (LLMs) haben ein schmutziges Geheimnis: Sie benötigen enorme Mengen an Energie zum Trainieren und Ausführen. Wie viel Energie sie wirklich benötigen und wie groß der CO2-Fußabdruck dieser Modelle wirklich ist, ist bislang allerdings nur schwer zu sagen.

Das KI-Start-up Hugging Face glaubt, nun einen neuen Weg gefunden zu haben, um dies genauer zu berechnen. Die Methode: Emissionen schätzen, die während des gesamten Lebenszyklus des Modells und nicht nur während seiner Trainingsphase entstehen. Dies könnte ein wichtiger Schritt hin zu realistischeren Daten von Technologieunternehmen über den CO2-Fußabdruck ihrer KI-Produkte sein.

Der Zeitpunkt ist jedenfalls günstig; Experten fordern die KI-Branche schon länger auf, die Umweltauswirkungen von künstlicher Intelligenz und dessen Anwendungen besser zu bewerten. Die Arbeit von Hugging Face ist als Preprint verfügbar, wurde aber noch nicht in einem Peer-Review-Verfahren von unabhängigen Experten überprüft. Um ihren neuen Ansatz zu testen, schätzten die Experten von Hugging Face zunächst die Gesamtemissionen für ihr eigenes Sprachmodell BLOOM, das Anfang des Jahres erschien. Dazu addierten sie viele verschiedene Parameter: die Energiemenge, die für das Training des Modells auf einem Supercomputer anfiel; die Energie, die für die Herstellung der Hardware des Supercomputers und seine Instandhaltung benötigt wurde und die Energie, die BLOOM nach seiner Bereitstellung verbrauchte.

Für letzteres verwendeten die Forscherinnen und Forscher ein Softwaretool namens CodeCarbon, das die Kohlendioxidemissionen, die BLOOM produzierte, über einen Zeitraum von 18 Tagen in Echtzeit verfolgte. Auf Basis dieser Daten führte alleine das Training von BLOOM schätzungsweise zu 25 Tonnen Kohlendioxidemissionen. Die Zahl verdoppelt sich, wenn man zusätzlich die Emissionen berücksichtigt, die für die Herstellung der Computerausstattung, den Aufbau der Computerinfrastruktur und den anschließenden Regelbetrieb von BLOOM anfallen.

50 Tonnen Kohlendioxidemissionen entsprechen etwa 60 Flügen zwischen London und New York. Es ist also eine ganze Menge, allerdings könnten andere LLMs derselben Größe noch deutlich mehr ausstoßen. Das liegt daran, dass BLOOM auf einem französischen Supercomputer trainiert wurde, der größtenteils mit Kernenergie betrieben wird und folglich keine Kohlendioxidemissionen verursacht. Modelle, die in China, Australien oder einigen Teilen der USA trainiert werden, wo die verwendete Energie vermehrt aus fossilen Brennstoffen stammt, könnten noch einmal umweltschädlicher sein, jedenfalls im Hinblick auf Treibhausgase. Nach dem Start von BLOOM schätzt Hugging Face, dass die Nutzung des Modells etwa 19 Kilogramm Kohlendioxid pro Tag ausstößt. Das entspricht dem, was ein durchschnittlicher US-Neuwagen bei einer Fahrt von etwa 86 Kilometern verursacht.

Mehr über Künstliche Intelligenz

Zum Vergleich: GPT-3 von OpenAI und OPT von Meta stießen während des Trainings schätzungsweise mehr als 500 beziehungsweise 75 Tonnen Kohlendioxid aus, wobei die enormen Emissionen von GPT-3 sich teilweise dadurch erklären, dass das Training auf älterer, weniger effizienter Hardware stattfand. Die Zahlen beruhen in beiden Fällen auf externen Schätzungen oder – im Fall von Meta – auf Daten, die das Unternehmen selbst veröffentlicht hat.

Auch weil es bislang keine standardisierte Methode zur Messung von Kohlendioxidemissionen von KI-Modellen gibt, wollen die Forschenden von Hugging Face neue Anstöße geben: "Unser Ziel war es, über die Emissionen während des Trainings hinauszugehen und stattdessen einen größeren Teil des Lebenszyklus zu berücksichtigen. Damit wollen wir der KI-Community helfen, eine bessere Vorstellung von den Auswirkungen auf die Umwelt zu bekommen und herauszufinden, wie wir diese verringern können", sagt Sasha Luccioni, Hauptautorin der Studie.

Die Studie könne mehr dringend benötigte Klarheit darüber liefern, wie groß der CO2-Fußabdruck großer Sprachmodelle wirklich ist, sagt Lynn Kaack, Assistenzprofessorin für Informatik und Public Policy an der Hertie School in Berlin, die nicht an der Forschung von Hugging Face beteiligt war. Kaack sagt, sie sei überrascht gewesen, wie hoch die geschätzten Emissionen über den gesamten Lebenszyklus hinweg ausfielen. Aber es müsse noch mehr getan werden, um die Umweltauswirkungen großer Sprachmodelle in der realen Welt zu verstehen.

Schätzungen zufolge ist der globale Technologiesektor für 1,8 bis 3,9 Prozent der weltweiten Treibhausgasemissionen verantwortlich. Obwohl nur ein Bruchteil dieser Emissionen durch künstliche Intelligenz und maschinelles Lernen verursacht wird, ist der CO2-Fußabdruck von KI für einen einzelnen Bereich innerhalb der Technologiebranche immer noch sehr hoch.

Mit einem besseren Verständnis dafür, wie viel Energie KI-Systeme tatsächlich verbrauchen, können Unternehmen und Entwickler entscheiden, welche Kompromisse sie zwischen Umweltverschmutzung und Kosten eingehen wollen, sagt Luccioni. Dies könne dazu führen, dass man sich auf effizientere Methoden besinnt, zum Beispiel auf die Feinabstimmung bereits bestehender Modelle, anstatt auf immer neuere, immer größere Modelle zu drängen.

Die Autorinnen des Papiers hoffen folglich, dass Unternehmen und Forscher künftig vermehrt darüber nachdenken, wie sie große Sprachmodelle auf eine Weise entwickeln können, die ihren CO2-Fußabdruck begrenzt, sagt Sylvain Viguier, der das Hugging-Face-Papier mitverfasst hat und Director of Applications bei Graphcore, einem Halbleiterunternehmen, ist.

Die Ergebnisse der Studie seien ein "Weckruf für alle, die diese Art von Modellen verwenden, vor allem für die großen Technologieunternehmen", glaubt auch David Rolnick, Assistenzprofessor an der Fakultät für Informatik der McGill University und am KI-Institut Mila in Quebec, der nicht an der Studie beteiligt war. "Die Umweltauswirkungen von künstlicher Intelligenz sind nicht unvermeidlich. Sie basieren vielmehr auf unseren Entscheidungen darüber, wie wir diese Algorithmen einsetzen und welche wir verwenden", sagt Rolnick.

(jle)