Große KI-Modelle mit Destillation eindampfen
Die für Machine-Learning-Modelle erforderliche Rechenleistung stellt vor allem Entwickler vor große Herausforderungen. Mit geschickt komprimierten Modellen lassen sich die wirtschaftlichen und ökologischen Auswirkungen abfedern.
Aktuelle Machine-Learning-Modelle wie ChatGPT, DALL-E 2, aber auch ihre teilweise frei verfügbaren Artgenossen wie Alpaca, Vicuna oder Open Assistant erzielen in unzähligen Anwendungsgebieten beeindruckende Ergebnisse, etwa beim Generieren von Texten und Bildern, bei Suchen und Übersetzungen. Doch Entwickler stoßen schnell auf Hindernisse, wenn sie Modelle dieser Art verwenden wollen. Denn die erforderliche Rechenleistung ist eine echte Herausforderung.
Einen weiteren Aspekt betrachteten Forscher der University of Massachusetts Amherst: In Experimenten ermittelten sie, dass das Training eines einzigen KI-Modells so viel CO₂ ausstoßen kann wie fünf Autos in ihrer gesamten Lebenszeit (siehe ix.de/zb9b). Dabei verfügte das untersuchte Modell über nur 200 Millionen Parameter – winzig im Vergleich zu OpenAIs GPT-3 mit seinen 175 Milliarden Parametern (siehe ix.de/zb9b).