ChatGPT-Alternative OpenAssistant: Eine Konversations-KI für alle
Die LAION-Community hat mit Andreas Köpf und Yannic Kilcher eine Open-Source-Alternative zu ChatGPT gebaut: OpenAssistant ist samt Datensätzen frei verfügbar.
(Bild: Photobank gallery / Shutterstock.com)
- Silke Hahn
Unter dem Motto "Conversational AI for everyone" (Konversations-KI für alle) ist OpenAssistant erschienen: Laut seinen Herausgebern handele es sich um das erste vollständig quelloffene, auf Instruktionen abgestimmte Modell, das anhand menschlicher Daten trainiert wurde (eine einschränkende Anmerkung dazu weiter unten). Der quelloffene KI-Chatbot geht als offene Alternative zu ChatGPT ins Rennen. Hinter dem Projekt steht der Verein für Open-Source-KI LAION e.V. (Large-Scale Artificial Intelligence Network), dessen Datensätze unter anderem Stable Diffusion ermöglichten, ein seit August 2022 verbreitetes offenes KI-System zur Bildsynthese. Neben dem Chatbot übergeben die Herausgeber den zum Training verwendeten Datensatz sowie mehrere vortrainierte Modelle der Öffentlichkeit als Open Source. Der Code und die Daten stehen auf Hugging Face frei zur Verfügung.
Frei verfügbarer Datensatz als Werkzeug für KI-Entwickler
Treibende Kraft des Projekts sind der Entwickler Andreas Köpf und der von YouTube bekannte Technik-Influencer Yannic Kilcher. Gemeinsam mit der LAION-Community hatten sie in den vergangenen Monaten textbasierten Input und Feedback gesammelt, um einen hochwertigen Datensatz zum Training zu erstellen. Den Herausgebern zufolge handelt es sich um ein Entwicklerwerkzeug zum Erstellen weiterer zeitgemäßer (State-of-the-Art, SOTA) Modelle.
Die Daten decken eine breite Spanne an Themen und Schreibstilen ab, über 600.000 von Menschen erstellte Datenpunkte sollen laut Kilcher in den Datensatz und das Modelltraining eingeflossen sein. Wie die großen Bilddatensätze von LAION sei der auf Konversation geeichte Datensatz als Ausgangsbasis zum Trainieren weiterer Sprachmodelle und KI-Anwendungen gedacht, und Entwicklerprojekte können frei darauf zugreifen. Alle Modelle stehen unter der Apache-2.0-Lizenz (ausgenommen die auf LLaMA basierenden, die das Projekt wegen Lizenzproblemen bislang nicht veröffentlicht hat).
(This article is also available in English.)
OpenAssistant Conversations: Datensatz durch Crowdsourcing
Die Entwicklung erfolgte durch Mitglieder des OpenAssistant-Teams wie Andreas Köpf (das Paper nennt 18 Autoren). Das erste Modell etwa entstand durch überwachtes Feintuning (kurz SFT, Supervised Finetuning) auf einem rein englischsprachigen Datensatz mit etwa 22.000 von Menschen erstellten Konversationsbeispielen, die über eine Feedback-Webanwendung vor dem 7. März 2023 eingeholt wurden. Das Vorgehen entspricht der Mission von LAION und dessen Unterstützern, das Alignment großer Sprachmodelle weiter zu demokratisieren. Mit Alignment ist das Anpassen der auf Rohdaten trainierten Modelle auf menschliche Werte und Präferenzen durch menschliches Feedback (HF für Human Feedback) im nachgelagerten Reinforcement Learning (RLHF) gemeint.
Wie sich dem Vorwort des OpenAssistant-Papers (noch im Draftzustand) entnehmen lässt und auch sonst von anderen KI-Projekten bekannt ist, hat das nachgelagerte RLHF-Training eine Tücke: Werden Modelle stark durch menschliches Feedback für nützliche Antworten nachjustiert, verlieren die Modelle merklich an Fachwissen und Kreativität. Alignment-Techniken auf dem neuesten Stand benötigen hochwertiges menschliches Feedback, was kostspielig ist. In dem Bestreben, die Alignment-Forschung großer Sprachmodelle zu demokratisieren, hat LAION daher den Konversationsdatensatz, der zum Training von OpenAssistant zum Einsatz kam, veröffentlicht.
OpenAssistant Conversations (OASST1) ist ein von Menschen erstellter, von Menschen annotierter Konversationscorpus im Stil von Konversationsassistenten (KI-Chatbots). Der Datensatz enthält 161.443 Nachrichten, verteilt über 66.497 Gesprächsbäume in 35 Sprachen, annotiert mit 461.292 Bewertungen hinsichtlich der Qualität. Die Sammlung ist das Ergebnis eines weltweiten Crowdsourcing-Unterfangens, an dem sich 13.500 Freiwillige beteiligten. Der Datensatz durchlief einen Bereinigungs- und Bewertungsprozess, bei dem die Prompter sowohl selbst Antworten eingeben als auch Annotationen (Labels) hinzufügen konnten.
Qualitätssicherung und Bewertungskriterien
Drei Kategorien standen zum Bewerten zur Verfügung: Spam, Befolgen der Richtlinien und die Qualität der Antworten. Für jede dieser Dimensionen standen verschiedene Labels zur Verfügung – etwa: untauglich für den Datensatz als offensichtlicher Spam oder Trollen; wenn mehrere Nutzer eine Nachricht als Spam markierten, wurde sie aus dem Datensatz entfernt. Beim Befolgen der Guidelines wurde ausgewertet, ob der Beitrag in Einklang mit den Leitlinien steht. Persönlich identifizierbare Informationen, Hassrede, sexueller Inhalt oder sonst als unangemessen empfundene Inhalte wurden entsprechend annotiert und von menschlichen Moderatoren erneut überprüft. Bei der Qualitätseinstufung stand den Freiwilligen eine Fünfpunkteskala zur Verfügung (Likert-Skala), die Dimensionen wie Qualität, Kreativität, Humor, Höflichkeit, Harmlosigkeit umspannte. Die Annotationen wurden zur späteren Analyse und Verwendung gespeichert.
Den Nutzern wurden jeweils immer zwei Antworten zur Auswahl vorgelegt, die sie in der Reihenfolge ihrer Vorliebe abstufen sollten ("finde ich brauchbarer", "gefällt mir besser"). Das ermöglicht dem Projekt einen Vergleich der verschiedenen Antworten und soll dabei helfen, die effektivsten und stärksten Antworten zu identifizieren. Bei dieser Methode der Datensammlung ging es darum, die Arbeit in sinnvolle Untereinheiten aufzugliedern und den Datenverlust zu minimieren sowie wichtige Informationen für spätere Auswertungen zu sichern. Die abwechslungsreiche Gestaltung der Aufgaben sollte auch dafür sorgen, dass die Testnutzerinnen und -nutzer mit Aufmerksamkeit und Engagement bei der Sache blieben.
Rund 43 Prozent der Daten im Trainingsdatensatz sind in englischer Sprache, 31 Prozent auf Spanisch, 5,7 Prozent Russisch, 3,6 Prozent Deutsch. Französisch, Chinesisch, Thai, Portugiesisch und Katalanisch sind mit je ein bis knapp drei Prozent enthalten, weitere Sprachen in kleinerem Umfang (insgesamt 5,8 Prozent). Die Verteilung der Beiträge ist etwas unausgewogen, geben die Projektbetreiber im Paper zu bedenken. Im Anhang des Papers lässt sich die Konfiguration des Trainings im Detail nachvollziehen.
(Bild: OpenAssistant)
Wer sich genauer interessiert, wird im Entwurf des flankierenden Forschungsberichts fündig. Der Entwurf listet die Richtlinien für Contributor auf und publiziert die Ergebnisse einer Online-Erhebung, die Motivation zum Mitwirken und ihren technischen sowie Bildungshintergrund. An einem Online-Survey des Teams nahmen 226 Personen teil, die zusätzliche Auskünfte zu sich selbst lieferten. Auffällig ist dabei die Demografie dieser Contributor: Überwiegend handelt es sich offenbar um junge Männer, und etwa 80 Prozent geben an, Englisch als Muttersprache zu beherrschen oder zweisprachig zu sein. Gemessen an der Gesamtzahl der Contributor (13.500) ist dieser Survey, der offenbar freiwillig durchgeführt wurde und nur als Stichprobe gelten kann, womöglich nicht repräsentativ.
(Bild: OpenAssistant Paper)
Interessant ist die Gegenüberstellung von Antworten aus OpenAssistant und aus ChatGPT (basierend auf GPT-3.5) im Anhang, etwa zur Frage, warum Google so erfolgreich ist, warum Menschen oft kurzlebige Glücksquellen bevorzugen, was die Konsequenzen von Zeitreisen wären, vegetarische Alternativen zu Parmesan – oder ob es als Herrscher besser sei, geliebt oder gefürchtet zu werden. Auch Fragen, die bei OpenAI-Produkten an den eingebauten Beschränkungen (Guardrails) scheitern und ChatGPT zum Verweigern einer Antwort führen, werden gezeigt: So antwortet OpenAssistant ausführlich auf die Frage, wie man eine Bombe baut (worauf GPT-3.5 kurz angebunden reagiert) – OpenAssistant vermag in Grundzügen den Bau einer Bombe zu beschreiben (Abb. 19 im OA-Paper), jedoch unter Verweis auf Sicherheit, Legalität und ohne detaillierte Bauanleitung. Auf die humorvolle Frage, wer einen Straßenkampf eher gewinnen würde – Joe Biden oder Joe Rogan – traut OpenAssistant sich ebenfalls, zu antworten.
(Bild: OpenAssistant Paper)
Auch auf die Bitte, sich selbst als Mensch vorzustellen, geht der OpenAssistant anders ein als ChatGPT:
(Bild: OpenAssistant Paper)
Abweichende Meinungen, politisches und kulturelles Spektrum
Interessant sind Fragen, die vom US-amerikanischen Mainstream abweichende Wertsysteme betreffen, etwa die Frage nach Ritualen zum Beschwören von Geistern. Während ChatGPT (auf Basis von GPT-3.5) die Frage als unethisch und für ein Sprachmodell nicht geeignet ablehnt, geht OpenAssistant darauf ein und erklärt, dass solche Rituale von der jeweiligen Kultur und Religion abhängen, Essensspenden meist eine Rolle spielen und verschiedene rituelle Handlungen den Akt begleiten. Auch zu den Zielen äußert sich der Assistent (Abb. 29 im OA-Paper).
Das Vorhandensein von Ritualen und religiösen Weltanschauungen ist Teil der Kultur- und Religionsgeschichte, unabhängig von heutigen Weltbildern spielte es für unsere Vorfahren eine Rolle. In zahlreichen Kulturen ist das bis heute ein Thema. Das Beispiel ist daher gut gewählt, um exemplarisch zu veranschaulichen, wie wichtig es ist, Sprachmodelle und darauf aufsetzende Konversationsassistenten aus unterschiedlichen Quellen zu beziehen und divers zu gestalten, statt von einem einzigen Anbieter mit dessen speziellen Vorlieben und Einschränkungen.
Politische Ausrichtung und Schlagseiten von großen Sprachmodellen sind ein verwandtes Thema: Zu ChatGPT liegen bereits erste Untersuchungen vor, die OpenAIs Produkten eine politisch leicht linke Tendenz bescheinigen. Die vorläufigen Ergebnisse von OpenAssistant deuten an, dass ein breiteres Spektrum politischer Stimmen und Meinungen vertreten wird und dass insbesondere auch Meinungen des konservativen und libertären Spektrums darin repräsentiert sind. Die Herausgeber betonen die Vorläufigkeit dieser Untersuchungen und kommen zu dem vorläufigen Schluss, dass ihr Konversationsassistent "in politischen Belangen ausgewogener und abwechslungsreicher als ChatGPT" sei.
(Bild: OpenAssistant Paper)
Modelle auf Hugging Face: großteils Open Source
Die erforderlichen Hardwareressourcen zum Trainieren der Modelle hatte wie bei Stable Diffusion primär Stability AI bereitgestellt, wie aus Danksagungen unter den Modellbeschreibungen hervorgeht. Insgesamt zehn Modelle beziehungsweise Modellgruppen stellt das Projekt auf Hugging Face zur Verfügung: Die Mehrzahl basiert auf den von der KI-Graswurzel EleutherAI für die Forschung bereitgestellten Modellserie Pythia, etwa dem darin größten Open-Source-Modell Pythia 12B (mit 12 Milliarden Parametern ein vergleichsweise kleines "großes Sprachmodell"). Weitere Modelle basieren auf LLaMA, Deberta und auch der Name Galactica taucht in der Modellbezeichnung auf (die KI-Forschungsabteilung von Facebook hatte im vergangenen Jahr ein gleichnamiges Modell zum Erstellen von Forschungsbeiträgen vorgestellt und wegen Halluzinationen nach kurzer Zeit wieder offline genommen).
Die veröffentlichten Modelle dienten unterschiedlichen Zwecken und Phasen beim Erstellen des Konversationsassistenten, so sind einige reine Reward-Modelle zum Finteuning durch menschliches Feedback. Das Team legt jeweils offen, welche Datensätze zum Erstellen der Modelle zum Einsatz kamen. So finden sich im Bereich des Reinforcement Learning mit menschlichem Feedback (RLHF) verschiedene Datensätze wie Anthropic RLHF und SyntheticGPT (von Instruct-GPT-J) in den Quellenangaben. Soweit verfügbar, sind diese direkt auf Hugging Face verlinkt. Wer möchte, kann anhand der veröffentlichten Modelle den Entstehungsprozess von OpenAssistant nachvollziehen.
Die auf LLaMA beruhenden Modelle sind noch nicht veröffentlicht, da FAIR (Facebook AI Research bzw. Meta) diese nicht als Open Source freigegeben hatte. Auf Antrag können Forschungsprojekte LLaMA nutzen, weitere Ableger kursieren als illegale Raubkopien in einer rechtlichen Grauzone im Netz. Das OpenAssistant-Projekt arbeitet nach eigenen Angaben daran, seine auf LLaMA aufsetzenden Modelle zu einem späteren Zeitpunkt in Form von XORed-Dateien zu veröffentlichen.
Empfohlener redaktioneller Inhalt
Mit Ihrer Zustimmmung wird hier ein externes YouTube-Video (Google Ireland Limited) geladen.
Ich bin damit einverstanden, dass mir externe Inhalte angezeigt werden. Damit können personenbezogene Daten an Drittplattformen (Google Ireland Limited) übermittelt werden. Mehr dazu in unserer Datenschutzerklärung.
Wie OpenAssistant sich von ChatGPT unterscheidet
Die entscheidende Frage für viele Anwender und Entwicklerinnen dürfte sein: Wie schneidet der freie Konversationsassistent im Vergleich zu OpenAI ab? Laut den Herausgebern könne er sich mit GPT-3.5 Turbo messen, dem direkten Vorgänger von GPT-4 (OpenAIs User Interface ChatGPT sitzt auf verschiedenen Modellen der GPT-Serie auf). Dem OpenAssistant-Paper zufolge, das sich noch im Entwurfsstadium befindet, bevorzugen menschliche Nutzer ihren auf dem feingetunten Pythia-12B sitzenden Assistenten zu 48,3 Prozent gegenüber den durch GPT-3.5 Turbo erstellten Antworten (mehr dazu im Anhang E des Drafts).
Allerdings lässt sich diese Präferenz wohl teils darauf zurückführen, dass der Assistent weniger zensiert als ChatGPT und einige positive Ausreißer unter den Prompt-Output-Paaren herauszurechnen wären (damit reduziert sich die Präferenz auf etwa 40 Prozent, was noch immer ein starkes Ergebnis wäre). Ein wesentlicher Unterschied zu ChatGPT besteht darin, dass OpenAssistant keine Selbstzensur betreibt. Im Entwurf des Papers findet das noch keine entsprechende Berücksichtigung. Daher ist der Anspruch, dass es sich hier um das erste vollständige Open-Source-Chat-Sprachmodell handele, das es mit GPT-3.5 Turbo aufnehmen könne, wohl etwas hoch gegriffen, wie unter anderem der australische KI-Forscher Jeremy Howard (Gründer von FastDotAI) auf Twitter kritisch anmerkte. Auf die Evaluierungsfrage geht Jeremy Howard in einem Thread tiefer ein.
Eine wissenschaftliche Evaluierung zu den Fähigkeiten des Modells liegt zurzeit noch nicht vor, die Evaluierung im Anhang des Papers bezieht sich einem der Hauptentwickler zufolge allein auf menschliche Präferenzen. Mit dieser Einschränkung im Hinterkopf steht dem eigenen Austesten nichts im Wege. Da die zugrundeliegenden Modelle großteils unter der Apache-2.0-Lizenz stehen, ist ein kommerzieller Einsatz davon abgeleiteter Modelle als Closed Source mutmaßlich ausgeschlossen: freies Verwenden, Modifizieren und Verteilen hingegen sind erlaubt. Modifizierte Ableger müssen gemäß Apache 2.0 an auffälliger Stelle angeben, dass sie modifiziert sind, und alle Original-Urheberrechtsvermerke beibehalten.
Obacht, auch Open-Source-KI neigt zum Fabulieren
Einige Einschränkungen gilt es zu beachten: Wie bei dem großen Bruder ChatGPT stehen auch die vom OpenAssistant-Team im Training erstellten Modelle unter dem Vorbehalt, dass sie in Mathematik- und Programmieraufgaben teils daneben liegen und der Output faktisch falsch oder irreführend sein kann. "Antworten können auf den ersten Blick überzeugend ausschauen, zugleich aber vollständig erfundene Falschaussagen enthalten", legt das Team im Repository in der Modellbeschreibung offen. Im Draft sind nur englischsprachige Beispiele veröffentlicht.
OpenAssistant lässt sich auf der Projektwebsite testen (das Anmelden über E-Mail scheint zurzeit nicht zu funktionieren, vermutlich ein vorübergehendes Problem). Die Modelle und Datensätze stehen im Repository des Projekts auf Hugging Face bereit. Der Entwurf des Forschungsberichts ist als Preprint auf einem Google-Drive öffentlich einsehbar ("OpenAssistant Conversations – Democratizing Large Language Model Alignment").
(sih)