Parameter in KI-Modellen: Was sie bei großen Sprachmodellen wirklich bedeuten
Sie sind die geheimnisvollen Zahlen, die hinter KI-Modellen stecken und je mehr Parameter eines hat, desto besser soll es sein. Aber was bewirken sie wirklich?
(Bild: shuttersv/Shutterstock.com)
- Will Douglas Heaven
Stellen sie sich einen Flipperautomaten von der Größe eines Planeten vor. Seine Kugeln müssen ein Labyrinth aus Milliarden von Hindernissen durchqueren. Ändert sich ein Hindernis auch nur ein winziges Stück, hat das Auswirkungen auf den Verlauf der Kugel. Übertragen auf die Funktionsweise von Sprachmodellen sind die oft zitierten Parameter diese Hindernisse. Sie steuern und verändern das Verhalten von diesen Modellen.
Das 2020 veröffentlichte GPT-3 von OpenAI, die Grundlage hinter der ersten Version von ChatGPT, hatte 175 Milliarden Parameter. Das neueste Large Language Model (LLM) von Google Deepmind, Gemini 3, hat möglicherweise mindestens eine Billion – manche schätzen sogar eher sieben Billionen. Doch das Unternehmen gibt dazu keine Auskunft. Angesichts des harten Wettbewerbs kommunizieren KI-Unternehmen noch weniger darüber, wie ihre Modelle aufgebaut sind.
Die Grundlagen dessen, was Parameter sind – und wie sie LLMs zu ihren bemerkenswerten Leistungen befähigen –, sind jedoch bei allen Modellen gleich. Hast du dich jemals gefragt, wie ein LLM wirklich funktioniert? Passen solche Flipper-Metaphern überhaupt? Hier erläutern wir, wie ein großes Sprachmodell wirklich tickt.
Das war die Leseprobe unseres heise-Plus-Artikels "Parameter in KI-Modellen: Was sie bei großen Sprachmodellen wirklich bedeuten". Mit einem heise-Plus-Abo können Sie den ganzen Artikel lesen.
