Sprachmodell hinter ChatGPT: GPT-3.5 Turbo mit eigenen Daten füttern
Das KI-Sprachmodell GPT-3.5 Turbo von OpenAI lässt sich ab sofort per Finetuning individualisieren. Ab Herbst soll das auch bei GPT-4 möglich sein.
GPT-3.5 Turbo mit eigenen Daten füttern und damit das Sprachmodell für eigene Anwendungszwecke individualisieren – dieses Finetuning des KI-Modells ist ab sofort möglich. Das haben die Entwickler von OpenAI in einem Blogpost angekündigt. Auch beim noch mächtigeren Nachfolger GPT-4 soll das Nachtrainieren mit eigenen Daten im Herbst möglich sein. Auf feingetunten Versionen von GPT-3.5 (kostenlose Version) beziehungsweise GPT-4 (kostenpflichtiges Plus-Abo) basiert auch das beliebte KI-Tool ChatGPT desselben Herstellers.
Wer GPT-3.5 Turbo mit eigenen Daten füttert, kann die Leistung des Sprachmodells "für bestimmte, begrenzte Aufgaben" über die der Basisversion GPT-4 treiben, verspricht OpenAI. Und: Daten, die Firmen oder Einzelpersonen über die Finetuning-API schicken, blieben Eigentum der Kunden und würden nicht von OpenAI oder anderen selbst zum Training von Modellen verwendet.
Feste Antwortform, gleiches Format, einheitlicher Sprachstil
In der geschlossenen Beta-Phase habe sich gezeigt, dass Finetuning primär für drei Kernziele geeignet sei. Unter "verbesserter Steuerbarkeit" versteht der Anbieter die Möglichkeit, dem Modell von vornherein genauere Vorgaben für seine Ausgabe zu machen. So antwortet das Sprachmodell auf Wunsch knapper oder immer in der gleichen Sprache – zum Beispiel auf Deutsch, wenn auch der Prompt so formuliert ist. Auch feste Ausgabeformate, wie sie etwa benötigt werden, wenn das Sprachmodell in andere Anwendungen eingebettet arbeitet, sind mit feingetunten GPT-3.5-Turbo-Modellen möglich. Schließlich können OpenAI-Kunden auch die Tonalität der Antworten des Sprachmodells anpassen, was hauptsächlich für Unternehmen interessant sei, die mit einer "wiedererkennbaren Markensprache" nach außen treten.
Ein weiterer Vorteil sei, dass die einzelnen Prompts kürzer ausfallen können, weil sie nicht mehr alle Anweisungen enthalten müssen. Die Tester hätten ihre Prompts so um bis zu 90 Prozent eindampfen können. Dennoch verarbeitet das Modell mit 4000 Token doppelt so viele, wie es bisher bei feingetunten OpenAI-Modellen möglich war. Unter anderem konnte GPT-3, auf dem die ursprüngliche ChatGPT-Version basierte, bereits individualisiert werden.
OpenAI-Regeln bleiben
Ganz freie Hand will OpenAI seiner Kundschaft aber nicht lassen: Um die im Standardmodell eingebauten Sicherheitsfeatures zu erhalten, würden die individuellen Trainingsdaten zunächst "durch (eine) Moderations-API und ein GPT-4-gestütztes Moderationssystem" geschleust. Damit will der Anbieter den Einsatz von "unsicheren Trainingsdaten" verhindern, die möglicherweise die Modellschranken aushebeln könnten.
Für das Modelltraining fallen zusätzliche Gebühren an: 0,008 US-Dollar/1.000 Token werden fällig, für die Modellnutzung dann 0,012 US-Dollar für Inputs, 0,016 für Outputs pro 1.000 Token. Wann der Anbieter GPT-4 auch für das Finetuning öffnet, geht aus dem Blogpost noch nicht hervor.
(jvo)