Seite 3: Abweichende Meinungen, politisches und kulturelles Spektrum

Inhaltsverzeichnis

Interessant sind Fragen, die vom US-amerikanischen Mainstream abweichende Wertsysteme betreffen, etwa die Frage nach Ritualen zum Beschwören von Geistern. Während ChatGPT (auf Basis von GPT-3.5) die Frage als unethisch und für ein Sprachmodell nicht geeignet ablehnt, geht OpenAssistant darauf ein und erklärt, dass solche Rituale von der jeweiligen Kultur und Religion abhängen, Essensspenden meist eine Rolle spielen und verschiedene rituelle Handlungen den Akt begleiten. Auch zu den Zielen äußert sich der Assistent (Abb. 29 im OA-Paper).

Das Vorhandensein von Ritualen und religiösen Weltanschauungen ist Teil der Kultur- und Religionsgeschichte, unabhängig von heutigen Weltbildern spielte es für unsere Vorfahren eine Rolle. In zahlreichen Kulturen ist das bis heute ein Thema. Das Beispiel ist daher gut gewählt, um exemplarisch zu veranschaulichen, wie wichtig es ist, Sprachmodelle und darauf aufsetzende Konversationsassistenten aus unterschiedlichen Quellen zu beziehen und divers zu gestalten, statt von einem einzigen Anbieter mit dessen speziellen Vorlieben und Einschränkungen.

Politische Ausrichtung und Schlagseiten von großen Sprachmodellen sind ein verwandtes Thema: Zu ChatGPT liegen bereits erste Untersuchungen vor, die OpenAIs Produkten eine politisch leicht linke Tendenz bescheinigen. Die vorläufigen Ergebnisse von OpenAssistant deuten an, dass ein breiteres Spektrum politischer Stimmen und Meinungen vertreten wird und dass insbesondere auch Meinungen des konservativen und libertären Spektrums darin repräsentiert sind. Die Herausgeber betonen die Vorläufigkeit dieser Untersuchungen und kommen zu dem vorläufigen Schluss, dass ihr Konversationsassistent "in politischen Belangen ausgewogener und abwechslungsreicher als ChatGPT" sei.

Modelle auf Hugging Face: großteils Open Source

Die erforderlichen Hardwareressourcen zum Trainieren der Modelle hatte wie bei Stable Diffusion primär Stability AI bereitgestellt, wie aus Danksagungen unter den Modellbeschreibungen hervorgeht. Insgesamt zehn Modelle beziehungsweise Modellgruppen stellt das Projekt auf Hugging Face zur Verfügung: Die Mehrzahl basiert auf den von der KI-Graswurzel EleutherAI für die Forschung bereitgestellten Modellserie Pythia, etwa dem darin größten Open-Source-Modell Pythia 12B (mit 12 Milliarden Parametern ein vergleichsweise kleines "großes Sprachmodell"). Weitere Modelle basieren auf LLaMA, Deberta und auch der Name Galactica taucht in der Modellbezeichnung auf (die KI-Forschungsabteilung von Facebook hatte im vergangenen Jahr ein gleichnamiges Modell zum Erstellen von Forschungsbeiträgen vorgestellt und wegen Halluzinationen nach kurzer Zeit wieder offline genommen).

Die veröffentlichten Modelle dienten unterschiedlichen Zwecken und Phasen beim Erstellen des Konversationsassistenten, so sind einige reine Reward-Modelle zum Finteuning durch menschliches Feedback. Das Team legt jeweils offen, welche Datensätze zum Erstellen der Modelle zum Einsatz kamen. So finden sich im Bereich des Reinforcement Learning mit menschlichem Feedback (RLHF) verschiedene Datensätze wie Anthropic RLHF und SyntheticGPT (von Instruct-GPT-J) in den Quellenangaben. Soweit verfügbar, sind diese direkt auf Hugging Face verlinkt. Wer möchte, kann anhand der veröffentlichten Modelle den Entstehungsprozess von OpenAssistant nachvollziehen.

Die auf LLaMA beruhenden Modelle sind noch nicht veröffentlicht, da FAIR (Facebook AI Research bzw. Meta) diese nicht als Open Source freigegeben hatte. Auf Antrag können Forschungsprojekte LLaMA nutzen, weitere Ableger kursieren als illegale Raubkopien in einer rechtlichen Grauzone im Netz. Das OpenAssistant-Projekt arbeitet nach eigenen Angaben daran, seine auf LLaMA aufsetzenden Modelle zu einem späteren Zeitpunkt in Form von XORed-Dateien zu veröffentlichen.

Empfohlener redaktioneller Inhalt

Mit Ihrer Zustimmmung wird hier ein externes YouTube-Video (Google Ireland Limited) geladen.

YouTube-Video immer laden YouTube-Video jetzt laden

Ich bin damit einverstanden, dass mir externe Inhalte angezeigt werden. Damit können personenbezogene Daten an Drittplattformen (Google Ireland Limited) übermittelt werden. Mehr dazu in unserer Datenschutzerklärung.