Künstliche Intelligenz: Sprachmodelle mit GPT-2 trainieren
Wie lassen sich neue Sprachmodelle wie GPT-2 und GPT-3 trainieren, was lässt sich damit anstellen und was nicht? Wir haben das Modelltrainig genauer betrachtet.
![](https://heise.cloudimg.io/width/610/q85.png-lossy-85.webp-lossy-85.foil1/_www-heise-de_/imgs/18/3/0/7/3/4/7/2/csc-2f5620939d2f0664.jpeg)
- Ramon Wartala
Für Menschen ist Sprache das einfachste und effektivste Kommunikationsmittel. Seit Jahrzehnten versuchen Forscher und Firmen, den Maschinen die Unwägbarkeiten und Feinheiten der menschlichen Sprache beizubringen. Mithilfe ausgefeilter Algorithmen der Computerlinguistik (Natural Language Processing, NLP) versucht man, die maschinelle Verarbeitung von Text- und Sprachdaten durch Computer zu ermöglichen.
Anwendungsfälle für ein derartig codiertes Verständnis von Sprache gibt es viele. Dazu gehört etwa die automatische Übersetzung von einer Sprache in die andere. Daneben können Sprachmodelle den Inhalt eines Textes verstehen und erkennen, um welche Themen, Dinge, Menschen oder Orte es geht. Im nächsten Schritt lassen sich automatisch Zusammenfassungen von Texten erstellen. Maschinelle Sprachmodelle sind ebenfalls in der Lage, Texte selbst zu erzeugen oder im Rahmen eines Frage-Antwort-Dialogs zu interagieren.
In allen Szenarien erledigen Computer mit geeigneten Sprachmodellen viele Kommunikationsarbeiten für Menschen. Darin liegt Fluch und Segen zugleich. Einerseits staunt man über generierte poetische Lyrik, in der ein Sprachmodell im Stile William Shakespeares über den Himmel schreibt: "Sky and light, and a silent spring Come from the sky with a loud breeze. And in the silence the song That ever grew from the mountains Was sung. On the way, to ...", und wundert sich andererseits über Bots in sozialen Medien mit täuschend echter Wortwahl.
Das war die Leseprobe unseres heise-Plus-Artikels "Künstliche Intelligenz: Sprachmodelle mit GPT-2 trainieren". Mit einem heise-Plus-Abo können sie den ganzen Artikel lesen und anhören.