GPT-Neo: Open-Source-KI schreibt Texte

GPT-3, der Sprachgenerator des KI-Spezialisten Open-AI, gilt derzeit als der beste Sprachgenerator. Die Texte, die die Software aus einigen Anfangsworten produziert, haben für allgemeine Verblüffung gesorgt. Anders als sein quelloffener Vorgänger GPT-2, den iX kürzlich unter die Lupe genommen hat, steht GPT-3 derzeit allerdings nur ausgewählten zahlenden Kunden zur Verfügung.

Ein Team von KI-Forschern unter dem Namen EleutherAI hat nun mit GPT-Neo einen Open-Source-Sprachgenerator mit der erfolgreichen Architektur von GPT-3 entwickelt. Generative Pretrained Transformers (GPT), eine Weiterentwicklung der Sequence2Sequence-Modelle, erkennen den Kontext eines Wortes in einem Satz. Sie berechnen für jedes Wort eines Satzes einen Score, der den Zusammenhang mit den anderen Wörtern ausdrückt. Das verringert die Trainigszeit des Modells und erlaubt so das Training mit größeren Textmengen.

Vortrainierte Modelle

EleutherAI hat kürzlich ein vortrainiertes Sprachmodell auf Basis von GPT-Neo veröffentlicht, das über 2,7 Milliarden Parameter besitzt – ein Maß für die Leistungsfähigkeit des Sprachmodells. Zum Vergleich: Open-AIs GPT-2 hatte 1,5 Milliarden Parameter, GPT-3 hingegen 175 Milliarden. Die Forscher wollen das Modell weiter mit einem Textdatensatz von 800 GByte Größe trainieren und die Zahl der Parameter bis in die Größenordnung von GPT-3 steigern.

Lesen Sie auch

Sprachmodelle im Visier: Kann eine KI Artikel schreiben?

Neben GPT-Neo, das auf vor allem für das Training auf GooglesTPUs (Tensorflow Processing Units) ausgelegt ist, existiert mit GPT-Neox eine für das Training auf Grafikkarten optimierte Variante, auf dessen Weiterentwicklung sich die Forscher in Zukunft konzentrieren wollen. Beide stehen auf Github als Download bereit.

(odi)