Künstliche Intelligenz: Sprachmodelle mit GPT-2 trainieren
Wie lassen sich neue Sprachmodelle wie GPT-2 und GPT-3 trainieren, was lässt sich damit anstellen und was nicht? Wir haben das Modelltrainig genauer betrachtet.
- Ramon Wartala
Für Menschen ist Sprache das einfachste und effektivste Kommunikationsmittel. Seit Jahrzehnten versuchen Forscher und Firmen, den Maschinen die Unwägbarkeiten und Feinheiten der menschlichen Sprache beizubringen. Mithilfe ausgefeilter Algorithmen der Computerlinguistik (Natural Language Processing, NLP) versucht man, die maschinelle Verarbeitung von Text- und Sprachdaten durch Computer zu ermöglichen.
Anwendungsfälle für ein derartig codiertes Verständnis von Sprache gibt es viele. Dazu gehört etwa die automatische Übersetzung von einer Sprache in die andere. Daneben können Sprachmodelle den Inhalt eines Textes verstehen und erkennen, um welche Themen, Dinge, Menschen oder Orte es geht. Im nächsten Schritt lassen sich automatisch Zusammenfassungen von Texten erstellen. Maschinelle Sprachmodelle sind ebenfalls in der Lage, Texte selbst zu erzeugen oder im Rahmen eines Frage-Antwort-Dialogs zu interagieren.
In allen Szenarien erledigen Computer mit geeigneten Sprachmodellen viele Kommunikationsarbeiten für Menschen. Darin liegt Fluch und Segen zugleich. Einerseits staunt man über generierte poetische Lyrik, in der ein Sprachmodell im Stile William Shakespeares über den Himmel schreibt: "Sky and light, and a silent spring Come from the sky with a loud breeze. And in the silence the song That ever grew from the mountains Was sung. On the way, to ...", und wundert sich andererseits über Bots in sozialen Medien mit täuschend echter Wortwahl.
Immer mehr Wissen. Das digitale Abo für IT und Technik.
Elektroauto MG4 Trophy im Test: Bestseller mit Batterie-Upgrade
Drei KI-Sprechtrainer im Test: Fremdsprache mit KI lernen
Prepaid, Debit, Credit: Wie Sie die passende Kreditkarte finden
Papierloses Büro: Wie man mit paperless-ngx die Dokumentenverwaltung optimiert
Wie eine lokale KI die Fotosammlung auf dem NAS verschlagworten kann
Wärmepumpe simpel und effektiv: Über die Rolle von Dämmung, Solar und Co.
Immer mehr Wissen. Das digitale Abo für IT und Technik.
Elektroauto MG4 Trophy im Test: Bestseller mit Batterie-Upgrade
Drei KI-Sprechtrainer im Test: Fremdsprache mit KI lernen
Prepaid, Debit, Credit: Wie Sie die passende Kreditkarte finden
Papierloses Büro: Wie man mit paperless-ngx die Dokumentenverwaltung optimiert
Wie eine lokale KI die Fotosammlung auf dem NAS verschlagworten kann