GPT selbst bauen
Generative vortrainierte Transformer (GPT), auf Englisch „Generative Pretrained Transformer“, erstellen Texte oder fassen sie zusammen und klingen dabei sehr menschlich. Unser selbst programmierter Nachbau lernt, sich wie Shakespeare auszudrücken, und vermittelt, wie GPTs arbeiten.
Ein Beatles-Song soll die Ingenieure von Google auf die Idee gebracht haben, „Attention is all you need“ als Titel für ein Paper (Link im Webcode) zu wählen, in dem sie 2017 eine Architektur für ein KI-System beschreiben, dessen Stärke im Verarbeiten natürlicher Sprache (Natural Language Processing, kurz NLP) liegt. Es kombiniert verschiedene Typen neuronaler Netzwerke auf pfiffige Weise mit anderen bekannten KI-Konzepten zu einem sogenannten Transformer und ergänzt einen neuartigen Eingabemechanismus, der sich zudem prima parallelisieren lässt. Das Paper wurde zur Grundlage generativer KI-Systeme, die praktisch ausnahmslos Transformer sind und diesem Konzept folgen. Für das Verständnis hilfreich, aber nicht erforderlich, ist die Kenntnis des Artikels „Das eigene KI-Modell programmieren“ in Mac & i Heft 1/2024, S. 126.
Wie ein Transformer arbeitet
Ein Transformer berechnet auf Basis seines Trainings die wahrscheinlichsten Werte, die eine gegebene Datenreihe vervollständigen oder fortsetzen. Im NLP ist das ein Text, den beispielsweise ChatGPT zu einer Geschichte ausbaut. Dazu muss der Text numerisch repräsentiert sein, als sogenanntes Embedding. Es bildet die Semantik eines oder mehrerer Worte als Vektor ab, mit dem sich rechnen lässt. Ein sehr einfaches Beispiel soll das Prinzip verdeutlichen: König − Mann + Frau = Königin.