KI-Training in der Cloud kann durch kleine Änderungen energieeffizienter werden​

Inhaltsverzeichnis

Deep Learning steht hinter den bekanntesten Erfolgen des maschinellen Lernens, zum Beispiel der fortgeschrittenen Bilderkennung, dem Brettspiel-Champion AlphaGo und Sprachmodellen wie GPT-3. Diese Leistung hat jedoch ihren Preis: Das Training von Deep-Learning-Modellen erfordert enorme Energiemengen.

Neue Forschungsergebnisse zeigen nun, wie Wissenschaftler, die Cloud-Plattformen zum Trainieren von Deep-Learning-Algorithmen nutzen, den Energieverbrauch und damit die Emissionen, die diese Arbeit verursacht, drastisch reduzieren können. Einfache Änderungen der Cloud-Einstellungen sind der Schlüssel dazu.

Erster Schritt zur Reduzierung der Emissionen

Seit der ersten Veröffentlichung vor drei Jahren, in der die Umweltauswirkungen dieser Technologie untersucht wurden, haben einige Forscher begonnen, den Energieverbrauch und die Emissionen ihrer Arbeit anzugeben. Genaue Zahlen sind ein wichtiger Schritt, um Veränderungen herbeizuführen, aber die tatsächliche Erfassung dieser Zahlen kann eine Herausforderung sein. "Man kann nicht verbessern, was man nicht messen kann", sagt Jesse Dodge, ein Forscher am Allen Institute for AI in Seattle. "Wenn wir Fortschritte bei der Reduzierung der Emissionen erzielen wollen, besteht erste Schritt für uns in einer guten Messung."

Deshalb haben das Allen Institute kürzlich mit Microsoft, dem KI-Unternehmen Hugging Face und drei Universitäten gemeinsam ein Werkzeug entwickelt, das den Stromverbrauch aller Programme für maschinelles Lernen auf dem Microsoft-Cloud-Dienst Azure misst. Damit können Azure-Benutzer, die neue Modelle erstellen, den gesamten Stromverbrauch von Grafikprozessoren (GPUs) – also Computerchips, die auf die parallele Ausführung von Berechnungen spezialisiert sind – während jeder Phase ihres Projekts anzeigen: von der Auswahl eines Modells über das Training bis hin zu dessen Einsatz. Es ist der erste große Cloud-Anbieter, der den Nutzern Zugang zu Informationen über die Energieauswirkungen ihrer Machine-Learning-Programme bietet.

Es gibt zwar bereits Tools zur Messung des Energieverbrauchs und der Emissionen von Machine-Learning-Algorithmen, die auf lokalen Servern laufen. Doch sie funktionieren nicht, wenn Forscher Cloud-Dienste von Unternehmen wie Microsoft, Amazon und Google nutzen. Diese Dienste geben den Nutzern keinen direkten Einblick in die GPU-, CPU- und Speicherressourcen, die ihre Aktivitäten verbrauchen. Die vorhandenen Werkzeuge wie Carbontracker, Experiment Tracker, EnergyVis und CodeCarbon benötigen allerdings diese Werte, um genaue Schätzungen zu liefern.

Training von Machine-Learning-Modellen zu bestimmten Zeiten

Das im Oktober vorgestellte neue Azure-Tool meldet derzeit nur den Energieverbrauch, nicht aber die Emissionen. Daher haben Dodge und andere Forscher eine Methode entwickelt, wie man den Energieverbrauch den Emissionen zuordnen kann, und Ende Juni auf der Informatikkonferenz FAccT eine Veröffentlichung dazu vorgestellt. Die Forscher nutzten einen Dienst namens Watttime, um die Emissionen auf der Grundlage der Postleitzahlen von Cloud-Servern zu schätzen, auf denen elf Machine-Learning-Modelle laufen.

Sie fanden heraus, dass die Emissionen erheblich reduziert werden können, wenn Forscher Server an bestimmten geografischen Standorten und zu bestimmten Tageszeiten nutzen. Die Emissionen beim Training kleiner Machine-Learning-Modelle können um bis zu 80 Prozent gesenkt werden, wenn das Training zu Zeiten beginnt, in denen mehr Strom aus erneuerbaren Energien im Netz verfügbar ist. Die Emissionen großer Modelle wiederum können um mehr als 20 Prozent gesenkt werden, wenn ihr Training nur zu Zeiten mit reichlichem Strom aus erneuerbaren Energien läuft und bei knapper Verfügbarkeit unterbrochen wird.

Energiebewusste Cloud-Nutzer können ihre Emissionen senken, indem sie diese Faktoren in den Einstellungen der drei größten Cloud-Dienste (Microsoft Azure, Google Cloud und Amazon Web Services) anpassen. Lynn Kaack, Mitbegründerin von Climate Change AI, einer Organisation, die die Auswirkungen des maschinellen Lernens auf den Klimawandel untersucht, meint sogar, dass Cloud-Anbieter diese Projekte automatisiert anhalten und neu starten sollten, um die Emissionen zu optimieren.

"Man kann natürlich planen, wann der Algorithmus laufen soll, aber das ist viel Handarbeit", sagt Kaack. "Man braucht wahrscheinlich politische Anreize, um das im großen Maßstab zu tun". Ihr zufolge könnten politische Maßnahmen wie die Bepreisung von Kohlenstoffdioxid einen Anreiz für Cloud-Anbieter darstellen, um Arbeitsabläufe zu entwickeln, die automatische Pausen und Neustarts ermöglichen und den Benutzern die Möglichkeit geben, sich dafür zu entscheiden.

Mehr Aspekte beim Energieverbrauch einbeziehen

Es muss noch viel mehr getan werden, um das maschinelle Lernen umweltfreundlicher zu machen, insbesondere solange die meisten Länder noch von fossilen Brennstoffen abhängig sind. Laut Dodge misst das Azure-Tool nur den Stromverbrauch von GPUs. Eine genauere Berechnung des Energieverbrauchs des maschinellen Lernens würde die CPU- und Speichernutzung einbeziehen – ganz zu schweigen von der Energie für den Bau und die Kühlung der physischen Server.

Zudem braucht die Änderung von Gewohnheiten Zeit. Laut Dodge haben sich nur 13 Prozent der Azure-Nutzer, die Programme für maschinelles Lernen ausführen, das Tool zur Energiemessung angesehen, seit es im Oktober vorgestellt wurde. Raghavendra Selvan, der an der Entwicklung von Carbontracker mitgewirkt hat, hat immer noch Schwierigkeiten, Forscher davon zu überzeugen, das Tool in ihrer Machine-Learning-Forschung einzusetzen. "Ich glaube nicht, dass es mir gelungen ist, meine eigene Gruppe zu überzeugen", sagt Selvan.

Aber er ist optimistisch. Immer mehr Forscher machen es sich zur Gewohnheit, den Energieverbrauch in ihren Arbeiten anzugeben, was durch große Konferenzen wie NeurIPS, die dies vorschlagen, gefördert wird. Selvan meint, wenn mehr Menschen diese Energie- und Emissionskosten bei der Planung künftiger Projekte berücksichtigen, könnte dies die Auswirkungen des maschinellen Lernens auf den Klimawandel verringern.

(vsz)