Seite 4: Wie OpenAssistant sich von ChatGPT unterscheidet

Inhaltsverzeichnis

Die entscheidende Frage für viele Anwender und Entwicklerinnen dürfte sein: Wie schneidet der freie Konversationsassistent im Vergleich zu OpenAI ab? Laut den Herausgebern könne er sich mit GPT-3.5 Turbo messen, dem direkten Vorgänger von GPT-4 (OpenAIs User Interface ChatGPT sitzt auf verschiedenen Modellen der GPT-Serie auf). Dem OpenAssistant-Paper zufolge, das sich noch im Entwurfsstadium befindet, bevorzugen menschliche Nutzer ihren auf dem feingetunten Pythia-12B sitzenden Assistenten zu 48,3 Prozent gegenüber den durch GPT-3.5 Turbo erstellten Antworten (mehr dazu im Anhang E des Drafts).

Allerdings lässt sich diese Präferenz wohl teils darauf zurückführen, dass der Assistent weniger zensiert als ChatGPT und einige positive Ausreißer unter den Prompt-Output-Paaren herauszurechnen wären (damit reduziert sich die Präferenz auf etwa 40 Prozent, was noch immer ein starkes Ergebnis wäre). Ein wesentlicher Unterschied zu ChatGPT besteht darin, dass OpenAssistant keine Selbstzensur betreibt. Im Entwurf des Papers findet das noch keine entsprechende Berücksichtigung. Daher ist der Anspruch, dass es sich hier um das erste vollständige Open-Source-Chat-Sprachmodell handele, das es mit GPT-3.5 Turbo aufnehmen könne, wohl etwas hoch gegriffen, wie unter anderem der australische KI-Forscher Jeremy Howard (Gründer von FastDotAI) auf Twitter kritisch anmerkte. Auf die Evaluierungsfrage geht Jeremy Howard in einem Thread tiefer ein.

Eine wissenschaftliche Evaluierung zu den Fähigkeiten des Modells liegt zurzeit noch nicht vor, die Evaluierung im Anhang des Papers bezieht sich einem der Hauptentwickler zufolge allein auf menschliche Präferenzen. Mit dieser Einschränkung im Hinterkopf steht dem eigenen Austesten nichts im Wege. Da die zugrundeliegenden Modelle großteils unter der Apache-2.0-Lizenz stehen, ist ein kommerzieller Einsatz davon abgeleiteter Modelle als Closed Source mutmaßlich ausgeschlossen: freies Verwenden, Modifizieren und Verteilen hingegen sind erlaubt. Modifizierte Ableger müssen gemäß Apache 2.0 an auffälliger Stelle angeben, dass sie modifiziert sind, und alle Original-Urheberrechtsvermerke beibehalten.

Obacht, auch Open-Source-KI neigt zum Fabulieren

Einige Einschränkungen gilt es zu beachten: Wie bei dem großen Bruder ChatGPT stehen auch die vom OpenAssistant-Team im Training erstellten Modelle unter dem Vorbehalt, dass sie in Mathematik- und Programmieraufgaben teils daneben liegen und der Output faktisch falsch oder irreführend sein kann. "Antworten können auf den ersten Blick überzeugend ausschauen, zugleich aber vollständig erfundene Falschaussagen enthalten", legt das Team im Repository in der Modellbeschreibung offen. Im Draft sind nur englischsprachige Beispiele veröffentlicht.

OpenAssistant lässt sich auf der Projektwebsite testen (das Anmelden über E-Mail scheint zurzeit nicht zu funktionieren, vermutlich ein vorübergehendes Problem). Die Modelle und Datensätze stehen im Repository des Projekts auf Hugging Face bereit. Der Entwurf des Forschungsberichts ist als Preprint auf einem Google-Drive öffentlich einsehbar ("OpenAssistant Conversations – Democratizing Large Language Model Alignment").

(sih)