Abseits von OpenAI: Unabhängige Sprachmodelle zeigen, was möglich ist
OpenAI kontrolliert zwar den Zugang zu den eigenen Sprachmodellen. Doch die Zahl an mehr oder weniger frei zugänglichen, mächtigen KI-Modellen wächst beständig.
(Bild: lassedesignen / Shutterstock.com)
Wenn viele Prominente aus der Tech-Branche jetzt in einem offenen Brief eine Pause bei der Erforschung großer Sprachmodelle fordern, kann man das wie Computerlinguistin Emily Bender als gigantischen Hype kritisieren.
Man kann aber auch schlicht mit den Schultern zucken, denn der Geist ist längst aus der Flasche: Selbst wenn OpenAI, Meta und Google von heute auf morgen beschließen würden, sämtliche Entwicklungsarbeiten an großen Sprachmodellen einzufrieren, und ihre Modelle vom Netz zu nehmen, ließe sich die weitere Entwicklung nicht stoppen. Denn eine Vielzahl an Modellen sind online verfügbar – und ihre Zahl wächst ständig. Das Center for Research on Foundation Models der Stanford University hat eine interaktive Liste mit technischen Informationen zu großen Sprachmodellen veröffentlicht, auf der über 50 Modelle aufgeführt sind. Und das sind nur die offiziell verfügbaren – geleakte Modelle wie Alpaca sind hier nicht aufgeführt.
Training der Sprachmodelle
Denn was bei der ganzen Aufregung um den KI-Wettlauf zwischen OpenAI, Meta und Google gerne in Vergessenheit gerät, ist die Tatsache, dass die großen Silicon-Valley-Unternehmen zwar einen Entwicklungsvorsprung haben und jede Menge Ressourcen auf das Problem werfen können. Da die Architektur der großen Sprachmodelle aber im Wesentlichen bekannt ist, ist das Training solch großer Modelle vor allem ein technisches und organisatorisches Problem. Auch wenn die weitaus überwiegende Zahl an Papern und Patenten in diesem Bereich mittlerweile aus der Industrie kommt, spielt akademische Forschung durchaus noch eine Rolle – die vielleicht sogar wieder größer wird, wie das Alpaca-Modell der Stanford University zeigt, dessen Training nur etwa 600 Dollar gekostet hat.
Dass auch unabhängige Gruppen hier mitmischen können, hat nicht zuletzt die Entwickler-Gruppe Eleuther AI gezeigt. Das Team – ursprünglich ein über Discord organisierter, loser internationaler Zusammenschluss von Software-Entwicklern – konnte mit GPT-Neo im März 2021 eine Open-Source-Version von GPT-3 vorstellen. Mittlerweile sind die Entwickler dabei, sich zu professionalisieren und wollen bis zu 20 Forschende in einer Non-Profit-Organisation beschäftigen. Das internationale Kooperationsprojekt BigScience schließlich konnte 2022 mit Bloom 2022 ein Open-Source-Sprachmodell mit 176 Milliarden Parametern veröffentlichen. Dass die Entwicklung nicht bei Sprachmodellen stehen bleibt, sondern auch multimodale Modelle frei veröffentlicht werden, zeigt das erst kürzlich publizierte Open Flamingo der Gruppe LAION.
Apps, die Zugang zu mehreren Sprachmodellen ermöglichen
Wer sich einen Eindruck von der Leistungsfähigkeit großer Sprachmodelle machen möchte, ohne sich bei jeder Plattform anzumelden oder gar Modelle selbst zu installieren, hat, je nach technischem Interesse und Kenntnisstand, mittlerweile eine ganze Reihe verschiedener Möglichkeiten dazu: Die App Poe des Online-Dienstes Quora etwa vereint einen limitierten Zugriff auf GPT-4, Claude+ von Antrophic (von ehemaligen OpenAI-Leuten gegründet), ChatGPT und den kleineren Modellen Sage und Dragonfly.
Mehr Vergleichsmöglichkeiten mit aktuell 20 Modellen gibt es beim Online-Dienst Open Playground. Der ehemalige Github-CEO Nathaniel Friedman hatte die Plattform erst kürzlich veröffentlicht, um einen Vergleich zwischen den Modellen zu vereinfachen. Wer richtig tief einsteigen will, kann sich auf Cloud-Entwicklungsplattformen wie Huggingface aus einer einschüchternd großen Sammlung von Modellen bedienen, oder bei Google Colab eigene Modelle trainieren.
(wst)