GPT selbst bauen: So geht es am Mac mit Swift

Inhaltsverzeichnis

Ein Beatles-Song soll die Ingenieure von Google auf die Idee gebracht haben, "Attention is all you need" als Titel für ein Paper zu wählen, in dem sie 2017 eine Architektur für ein KI-System beschreiben, dessen Stärke im Verarbeiten natürlicher Sprache (Natural Language Processing, kurz NLP) liegt. Es kombiniert verschiedene Typen neuronaler Netzwerke auf pfiffige Weise mit anderen bekannten KI-Konzepten zu einem sogenannten Transformer und ergänzt einen neuartigen Eingabemechanismus, der sich zudem prima parallelisieren lässt. Das Paper wurde zur Grundlage generativer KI-Systeme, die praktisch ausnahmslos Transformer sind und diesem Konzept folgen. Für das Verständnis hilfreich, aber nicht erforderlich, ist die Kenntnis des Artikels "Das eigene KI-Modell programmieren" auf heise+. Den Code und andere Infos finden Sie hier.

Wie ein Transformer arbeitet

Ein Transformer berechnet auf Basis seines Trainings die wahrscheinlichsten Werte, die eine gegebene Datenreihe vervollständigen oder fortsetzen. Im NLP ist das ein Text, den beispielsweise ChatGPT zu einer Geschichte ausbaut. Dazu muss der Text numerisch repräsentiert sein, als sogenanntes Embedding. Es bildet die Semantik eines oder mehrerer Worte als Vektor ab, mit dem sich rechnen lässt. Ein sehr einfaches Beispiel soll das Prinzip verdeutlichen: König − Mann + Frau = Königin.

kurz & knapp

• Generative vortrainierte Transformer (GPT) können textuelle Kontexte erfassen und fortschreiben.
• Weiteres Training mit spezifischen Inhalten ermöglicht es, Texte zu bestimmten Themen zu erzeugen.
• Das Pretraining des GPT erfolgt mit dem GPT-2-Modell von OpenAI und Werken von Shakespeare.

Embeddings sind mehrdimensionale Vektoren, die einen mathematischen Umgang mit den semantischen Abständen von Worten ermöglichen. Dieses Konzept aus der Toolbox des NLP verwenden auch die Transformer. Sie arbeiten allerdings mit Token, die neben Worten auch Silben und andere Buchstabenfolgen repräsentieren, was den Umgang mit Fremdwörtern erleichtert.

Das war die Leseprobe unseres heise-Plus-Artikels "GPT selbst bauen: So geht es am Mac mit Swift". Mit einem heise-Plus-Abo können sie den ganzen Artikel lesen und anhören.