KI: Sachlich korrekte Texte mit neuronalen Sprachmodellen generieren
Neuronale Sprachmodelle wie GPT-3 schreiben ansprechende Texte, aber oft mit erfundenen Fakten. Jüngste Modelle überprüfen ihre Inhalte selbst. Ein Einblick.
KI-Forscher und Investoren sind wie elektrisiert von automatischen Textgeneratoren, die von ihrer breiten Trainingsdatengrundlage abstrahieren und aufgabenorientiert sinnvolle Inhalte verfassen. Nach OpenAI, das als Non-Profit-Forschungsunternehmen mit Milliardeninvestitionen unter anderem von Microsoft und Elon Musk startete, haben inzwischen auch andere Entwickler große Sprachmodelle vorgestellt.
Angefangen hat der Hype, als Open AI hat im Mai 2020 das Sprachmodell GPT-3 vorgestellt hat. Mit 175 Milliarden Parametern war es das größte neuronale Netz zu dem Zeitpunkt, trainiert mit immensen Mengen an Wikipedia-Einträgen, Webveröffentlichungen und Buchtexten.
Die Anwendungsmöglichkeiten des Generative Pretrained Transformer (GPT) sind wahrscheinlich noch gar nicht vollständig erfasst: Er generiert überzeugende Texte in unterschiedlichen Schreibstilen und Themengebieten, beantwortet Fragen, erzeugt Programmcode, übersetzt zwischen Sprachen und vieles mehr. Die Technik dahinter markiert einen Wendepunkt in der automatischen Verarbeitung von natürlicher Sprache.
Immer mehr Wissen. Das digitale Abo für IT und Technik.
Nur bis zum 31. Mai: heise+ 1 Jahr für nur 1,90 pro Woche lesen. Unbegrenzter Zugriff auf alle heise+ Artikel inklusive allen Digital-Magazinen.Länger lesen, mehr sparen: heise+ 1 Jahr lang für nur 1,90 € pro Woche lesen und brandaktuelles IT- und Tech-Wissen sichern. Zugriff auf alle heise+ Artikel inklusive der Digital-Magazine. Nur bis zum 31. Mai!