Seite 2: OpenAssistant Conversations: Datensatz durch Crowdsourcing

Inhaltsverzeichnis

Die Entwicklung erfolgte durch Mitglieder des OpenAssistant-Teams wie Andreas Köpf (das Paper nennt 18 Autoren). Das erste Modell etwa entstand durch überwachtes Feintuning (kurz SFT, Supervised Finetuning) auf einem rein englischsprachigen Datensatz mit etwa 22.000 von Menschen erstellten Konversationsbeispielen, die über eine Feedback-Webanwendung vor dem 7. März 2023 eingeholt wurden. Das Vorgehen entspricht der Mission von LAION und dessen Unterstützern, das Alignment großer Sprachmodelle weiter zu demokratisieren. Mit Alignment ist das Anpassen der auf Rohdaten trainierten Modelle auf menschliche Werte und Präferenzen durch menschliches Feedback (HF für Human Feedback) im nachgelagerten Reinforcement Learning (RLHF) gemeint.

Wie sich dem Vorwort des OpenAssistant-Papers (noch im Draftzustand) entnehmen lässt und auch sonst von anderen KI-Projekten bekannt ist, hat das nachgelagerte RLHF-Training eine Tücke: Werden Modelle stark durch menschliches Feedback für nützliche Antworten nachjustiert, verlieren die Modelle merklich an Fachwissen und Kreativität. Alignment-Techniken auf dem neuesten Stand benötigen hochwertiges menschliches Feedback, was kostspielig ist. In dem Bestreben, die Alignment-Forschung großer Sprachmodelle zu demokratisieren, hat LAION daher den Konversationsdatensatz, der zum Training von OpenAssistant zum Einsatz kam, veröffentlicht.

OpenAssistant Conversations (OASST1) ist ein von Menschen erstellter, von Menschen annotierter Konversationscorpus im Stil von Konversationsassistenten (KI-Chatbots). Der Datensatz enthält 161.443 Nachrichten, verteilt über 66.497 Gesprächsbäume in 35 Sprachen, annotiert mit 461.292 Bewertungen hinsichtlich der Qualität. Die Sammlung ist das Ergebnis eines weltweiten Crowdsourcing-Unterfangens, an dem sich 13.500 Freiwillige beteiligten. Der Datensatz durchlief einen Bereinigungs- und Bewertungsprozess, bei dem die Prompter sowohl selbst Antworten eingeben als auch Annotationen (Labels) hinzufügen konnten.

Qualitätssicherung und Bewertungskriterien

Drei Kategorien standen zum Bewerten zur Verfügung: Spam, Befolgen der Richtlinien und die Qualität der Antworten. Für jede dieser Dimensionen standen verschiedene Labels zur Verfügung – etwa: untauglich für den Datensatz als offensichtlicher Spam oder Trollen; wenn mehrere Nutzer eine Nachricht als Spam markierten, wurde sie aus dem Datensatz entfernt. Beim Befolgen der Guidelines wurde ausgewertet, ob der Beitrag in Einklang mit den Leitlinien steht. Persönlich identifizierbare Informationen, Hassrede, sexueller Inhalt oder sonst als unangemessen empfundene Inhalte wurden entsprechend annotiert und von menschlichen Moderatoren erneut überprüft. Bei der Qualitätseinstufung stand den Freiwilligen eine Fünfpunkteskala zur Verfügung (Likert-Skala), die Dimensionen wie Qualität, Kreativität, Humor, Höflichkeit, Harmlosigkeit umspannte. Die Annotationen wurden zur späteren Analyse und Verwendung gespeichert.

Den Nutzern wurden jeweils immer zwei Antworten zur Auswahl vorgelegt, die sie in der Reihenfolge ihrer Vorliebe abstufen sollten ("finde ich brauchbarer", "gefällt mir besser"). Das ermöglicht dem Projekt einen Vergleich der verschiedenen Antworten und soll dabei helfen, die effektivsten und stärksten Antworten zu identifizieren. Bei dieser Methode der Datensammlung ging es darum, die Arbeit in sinnvolle Untereinheiten aufzugliedern und den Datenverlust zu minimieren sowie wichtige Informationen für spätere Auswertungen zu sichern. Die abwechslungsreiche Gestaltung der Aufgaben sollte auch dafür sorgen, dass die Testnutzerinnen und -nutzer mit Aufmerksamkeit und Engagement bei der Sache blieben.

Rund 43 Prozent der Daten im Trainingsdatensatz sind in englischer Sprache, 31 Prozent auf Spanisch, 5,7 Prozent Russisch, 3,6 Prozent Deutsch. Französisch, Chinesisch, Thai, Portugiesisch und Katalanisch sind mit je ein bis knapp drei Prozent enthalten, weitere Sprachen in kleinerem Umfang (insgesamt 5,8 Prozent). Die Verteilung der Beiträge ist etwas unausgewogen, geben die Projektbetreiber im Paper zu bedenken. Im Anhang des Papers lässt sich die Konfiguration des Trainings im Detail nachvollziehen.

Wer sich genauer interessiert, wird im Entwurf des flankierenden Forschungsberichts fündig. Der Entwurf listet die Richtlinien für Contributor auf und publiziert die Ergebnisse einer Online-Erhebung, die Motivation zum Mitwirken und ihren technischen sowie Bildungshintergrund. An einem Online-Survey des Teams nahmen 226 Personen teil, die zusätzliche Auskünfte zu sich selbst lieferten. Auffällig ist dabei die Demografie dieser Contributor: Überwiegend handelt es sich offenbar um junge Männer, und etwa 80 Prozent geben an, Englisch als Muttersprache zu beherrschen oder zweisprachig zu sein. Gemessen an der Gesamtzahl der Contributor (13.500) ist dieser Survey, der offenbar freiwillig durchgeführt wurde und nur als Stichprobe gelten kann, womöglich nicht repräsentativ.

Interessant ist die Gegenüberstellung von Antworten aus OpenAssistant und aus ChatGPT (basierend auf GPT-3.5) im Anhang, etwa zur Frage, warum Google so erfolgreich ist, warum Menschen oft kurzlebige Glücksquellen bevorzugen, was die Konsequenzen von Zeitreisen wären, vegetarische Alternativen zu Parmesan – oder ob es als Herrscher besser sei, geliebt oder gefürchtet zu werden. Auch Fragen, die bei OpenAI-Produkten an den eingebauten Beschränkungen (Guardrails) scheitern und ChatGPT zum Verweigern einer Antwort führen, werden gezeigt: So antwortet OpenAssistant ausführlich auf die Frage, wie man eine Bombe baut (worauf GPT-3.5 kurz angebunden reagiert) – OpenAssistant vermag in Grundzügen den Bau einer Bombe zu beschreiben (Abb. 19 im OA-Paper), jedoch unter Verweis auf Sicherheit, Legalität und ohne detaillierte Bauanleitung. Auf die humorvolle Frage, wer einen Straßenkampf eher gewinnen würde – Joe Biden oder Joe Rogan – traut OpenAssistant sich ebenfalls, zu antworten.

Auch auf die Bitte, sich selbst als Mensch vorzustellen, geht der OpenAssistant anders ein als ChatGPT: