GPT4All ausprobiert: Das eigene ChatGPT ohne Internetverbindung
Läuft auf nahezu jedem Rechner: GPT4All ist einfach zu installieren und ermöglicht ein lokales KI-Chatsystem wie ChatGPT. c't 3003 hat's ausprobiert.
Empfohlener redaktioneller Inhalt
Mit Ihrer Zustimmmung wird hier ein externes YouTube-Video (Google Ireland Limited) geladen.
Ich bin damit einverstanden, dass mir externe Inhalte angezeigt werden. Damit können personenbezogene Daten an Drittplattformen (Google Ireland Limited) übermittelt werden. Mehr dazu in unserer Datenschutzerklärung.
- Jan-Keno Janssen
ChatGPT ist zwar praktisch, erzeugt aber auch oft ein mulmiges Gefühl: Schließlich füttert man bei der Nutzung permanent Daten Richtung Cloud. Mit lokal lauffähigen KI-Chatsystemen wie GPT4All hat man das Problem nicht, die Daten bleiben auf dem eigenen Rechner. Außerdem funktionieren solche Systeme ganz ohne Internetverbindung. c't 3003 hat sich die GPT4All und die darin angebotenen Open-Source-Sprachmodelle näher angeschaut.
Video-Transkript
Dieses Transkript ist für Menschen gedacht, die das Video oben nicht schauen können oder wollen. Der Text gibt nicht alle Informationen der Bildspur wieder)
Guckt mal hier, ich lade mir hier auf der Website einfach 'nen Installer runter, starten, zack, und schon läuft ein ChatGPT-Klon auf meinem Rechner, der nicht mal mit dem Internet verbunden sein muss, also wirklich komplett lokal läuft. GPT4All heißt das Ganze, Open-Source ist es auch -- und die Software lädt sogar für euch die Sprachmodelle runter, vollautomatisch. Laut einem geleakten Google-Dokument ist genau sowas für Google die größte Konkurrenz: nicht OpenAI und nicht Microsoft. Sondern, die Open-Source-Gemeinde, die gerade in einem Wahnsinns-Tempo aufholt. Ich guck mir GPT4All und die Open-Source-Sprachmodelle mal genauer an. Sind die schon vergleichbar mit den kommerziellen? Sind die überhaupt wirklich Open-Source? Bleibt dran!
Liebe Hackerinnen, liebe Internetsurfer, herzlich willkommen hier bei..
Ja, ich weiß, wir haben schon mal ein Video gemacht zu einer lokal lauffähigen Text-KI, das war ein ziemlich frickelig zu installierender Hack namens Dalai, vor allem musste man hier manuell mit den mehreren Gigabyte großen Sprachmodell-Dateien herumhantieren. Inzwischen sind zwei Monate vergangen, in der hyper-beschleunigten KI-Welt entspricht das ungefähr zwei Normaljahren, das ist ein bisschen so wie mit Hundejahren und Menschenjahren. Ok, kleiner Dad-Joke, aber ernsthaft: Jetzt gibt es halt GPT4All, ganz viele neue Sprachmodelle – und der Unterschied zu Dalai vor zwei Monaten ist immens.
Alleine die Installation: Einfach den Installer von gpt4all.io herunterladen, installieren, starten und dann in der Software auf Download gehen und man kann hier einfach mehr als zehn Sprachmodelle mit einem Klick herunterladen. Das Ganze läuft auf Windows, Linux und macOS.
Und die Qualität der Ausgabe ist, zumindest bei einigen Sprachmodellen, auch deutlich besser als noch bei denen, die von Dalai unterstützt werden.
Stellt man zum Beispiel eine einfache Sachfrage, wie zum Beispiel: Welcher Roman von Thomas Mann spielt auf einem Berg? Dann bekommt man vom zurzeit wohl besten GPT4All-Sprachmodell Snoozy die klare Antwort: Der Zauberberg. Und wenn man fragt: „Von wann ist der?“, erschließt das System auch aus dem Kontext, um was es geht und spuckt „1924“ aus. Google kann auf viele solche Sachfragen nicht konkret antworten, sondern zeigt nur eine Textstelle aus dem Netz an – und vor allem benötigt Google ja auch eine Internetverbindung. GPT4All nicht.
Andere von GPT4All unterstützte Sprachmodelle hauen allerdings richtigen Mumpitz aus. Sehr schön fand ich, als auf die Frage „Welcher Thomas Mann-Roman spielt auf einem Berg?“ die Antwort kam: „Ja, das ist der Titel des Romans von Weilche im Jahr 1882“.
Oder kennt ihr schon die tollste Touristenattraktion in Hannover, Schloss Neuschwanstein?
Tatsächlich machen viele der Sprachmodelle sogar heftige Rechtschreib- und Grammatikfehler, das ist mir mit ChatGPT, Bing und Bard nie passiert, schaut mal hier.
Aber wie gesagt: Das Snoozy-Sprachmodell und das Vicuna-Modell, beide mit 13 Milliarden-Parametern, liefern echt ganz ordentliche Ergebnisse. Sogar unseren 3003-KI-Benchmark schaffen sie: Erzähle einen Witz, in dem ein Raspberry Pi, Martin Luther und ein Schokokuchen vorkommen.
Die Geschwindigkeit der Ausgabe ist natürlich sehr stark vom verwendeten Rechner abhängig. GPT4All nutzt standardmäßig nicht die Grafikeinheit, sondern den AVX2-Befehlssatz der CPU. CPUs ab ca. 2014 können das, es gibt aber auch eine GPT4All-Version für den älteren AVX-Befehlssatz. Sehr schnell lief GPT4All bei meinen Tests auf einem MacBook Pro mit M2 Max, aber auch auf einem Windows-PC mit AMD 3700x war die Geschwindigkeit ok, nur auf einem alten PC mit Intel i7-6700K machte das keinen Spaß, das sah dann so aus.
Ja, aber wo kommen denn die Sprachmodelle eigentlich her?
Hier kommt jetzt mal ein kleiner Einschub, keine Angst, das wird nicht so kompliziert.
Die Technik von ChatGPT basiert auf sogenannten Large Language Models (LLMs). Das sind neuronale Netze, in die riesige Textmengen hineingekippt werden. “Pre-Training” nennt sich das und ist ziemlich aufwendig, wir sprechen hier von tausenden Profi-GPUs, die wochenlang rechnen – mehrere Millionen Euro kostet so ein Training. Man darf sich aber nicht vorstellen, dass da dann einfach ein Chatbot hinten rauskommt, denn ein Large Language Model ist kein Chatbot, sondern nur die Basis dafür. Man muss das LLM noch auf den vorgesehenen Einsatzzweck nachtrainieren, also zum Beispiel „Texte vervollständigen“ oder „Fragen beantworten“. Letzteres würde man für einen Chatbot machen.
Wenn ihr euch zum Beispiel ChatGPT und Microsofts Bing anschaut: Die nutzen beide das nicht-offene GPT-4-LLM von OpenAI, aber fühlen sich in der Praxis ganz unterschiedlich an, eben weil sie unterschiedlich nachtrainiert wurden, zu beiden haben wir ja hier schon Videos gemacht. Die Grund-LLMs werden manchmal auch „Foundation Models“ genannt, ja, weil sie quasi das Fundament sind, die Basis für spätere Anwendungen.
Das "Nachtrainieren" zum Beispiel, um einen Chatbot zu bekommen, nennt man “Fine-Tuning”. Das ist DEUTLICH weniger aufwendig als das vorangehende Pre-Training. Um ein Large Language Model feinzutunen, reicht es, ein paar GPUs in der Cloud für ein paar Stunden anzumieten. Das kostet dann auch nur ein paar Hundert Dollar. Und es gibt auch immer mehr Ansätze, dass das einfach zu Hause auf Consumer-GPUs möglich wird.
Das Problem ist nur, dass es bislang keine guten Grund-LLMs gab, auf die die Open-Source-Gemeinde-Zugriff hatte.
Das ändert sich aber gerade: Meta hat zum Beispiel sein LLaMa-Modell zumindest für unkommerzielle Forschung freigegeben. Llama mag nicht ganz so gut sein wie Palm 2 von Google und GPT-4 von OpenAI, aber anders als bei diesen beiden, können Leute damit einfach herumspielen. Und das tun gerade ziemlich viele, und deshalb gibt es auch immer mehr auf Llama basierende Chatbot-Sprachmodelle. Obendrein gibt es auch noch „richtig“ offene Grund-Sprachmodelle, mit einer richtigen Apache-2-Open-Source-Lizenz, also, die man auch für kommerzielle Produkte einsetzen darf, zum Beispiel OpenAssistant, MPT, Cerebras-GPT und GPT-J.
Ja, ich gebe zu, das ist ganz schön verwirrend, wenn man diese Namen alle noch nie gehört hat.
Vielleicht hier nochmal eine ganz schnelle Zusammenfassung der wichtigsten LLMs:
- GPT-4 heißt das zurzeit wohl relevanteste Sprachmodell. Aber auch wenn sich die Schöpfer “OpenAI” nennen, ist es halt überhaupt nicht offen, man kann man es nicht selbst trainieren, weil man keinen Zugriff auf die Daten selbst hat. GPT-4 wird unter anderem von ChatGPT und Microsoft Bing verwendet.
- LLaMA heißt das Grund-Sprachmodell von Meta und ist zumindest offen für “unkommerzielle Forschung”. Eigentlich muss man den Zugang bei Meta beantragen, aber man findet es inzwischen an etlichen Stellen im Netz. Auch GPT4All bietet etliche auf LLama basierende Chatbot-Sprachmodelle an, zum Beispiel Vicuna und l13b-snoozy.
- GPT-J ist ein Grund-Sprachmodell von der Non-Profit-Forschungsgruppe EleutherAI, eloosser das komplett Open-Source ist, unter Apache 2.0-Lizenz. Also auch fĂĽr kommerzielle Nutzung. GPT4All hat mehrere auf GPT-J basierende Sprachmodelle integriert, j-v-1-3-groovy zum Beispiel.
Tja, und jetzt mal wieder aus der Praxis gesprochen: Je offener das Modell zurzeit, desto schlechter sind zurzeit noch die Ergebnisse. Die völlig offenen GPT-J-Chatbots machen haarsträubende Fehler und sind, zumindest in Form der bei GPT4All enthaltenen Modelle nur zur Belustigung nutzbar. Schaut mal hier.
Aber: Die zumindest unkommerziell nutzbaren, nachtrainierten Llama-Modelle wie Vicuna und l13b-snoozy sind schon ziemlich ordentlich, und ganz salopp gesagt zumindest einigermaßen vergleichbar mit der kostenlosen ChatGPT-Variante (die ja nicht auf dem neuesten GPT-4 basiert, sondern auf GPT-3.5). Und wie beeindruckend ist das, dass das so schnell ging? Da muss man jetzt nicht mal sonderlich optimistisch sein, um da eine glänzende Zukunft für Open-Source-Chatbots zu sehen. Vor allem die Möglichkeit, die Teile selbst nachzutrainieren, stellt euch mal vor: Ihr füttert so etwas lokal auf eurem Rechner, mit sagen wir mal euren persönlichen Kochrezepten. Und dann könnt ihr euch quasi mit eurem angesammelten Kochwissen unterhalten. Also so was fragen wie: Wie viel Butter muss noch mal in mein Lieblings-Risotto? Und all das eben lokal, nicht in der Cloud, nur für euch. Auch für Firmen sind solche spezialisierten Chatbots natürlich hochinteressant.
Community-Frage: Sollen wir dazu mal ein Video machen: Also wir fĂĽttern unseren eigenen KI-Chatbot? Dann schreibt mal in die Kommentare, mit was wir ihn feintunen sollen.
Und klar, man kann mit sowas auch böse Sachen machen. Dennoch ist es mir persönlich lieber, die Technik zu open-sourcen, als dass wenige einzelne Firmen wie OpenAI den Zugang dazu bestimmen.
Zumindest bei Google scheint man die Sache jedenfalls ähnlich zu sehen, es ist nämlich ein internes Memo geleakt, mit dem Titel „Wir haben keinen Burggraben und OpenAI auch nicht“. Also Moat = Burggraben, sprich, keine Absicherung gegenüber der Konkurrenz.
Veröffentlicht wurde das auf semianalysis.com und zumindest der Macher dieser Seite sagt, er hätte die Echtheit überprüft. Ganz sicher ist das aber natürlich nicht. Der Inhalt ist aber auf alle Fälle interessant: Nicht OpenAI sei der größte Konkurrent von Google, sondern die Open-Source-Gemeinde. „Noch haben wir einen Qualitätsvorsprung, aber dieser schließt sich gerade mit einer unfassbaren Geschwindigkeit.“ Ein Schaubild zeigt, die Qualitätssprünge von Llama zu Alpaca zu Vicuna innerhalb weniger Wochen. (Kurios übrigens: Die Bewertung der Qualität hat ChatGPT vorgenommen.)
Im Memo heißt es noch, dass das Gleiche bei der KI-Bildgenerierung passiert ist: Zuerst war da Dall-E von OpenAI, und dann hat aber die Open-Source-Software Stable Diffusion auf einmal bessere Qualität geliefert. Ok, so gut wie Midjourney ist Stable Diffusion noch nicht, aber das kann sich ja ebenfalls sehr schnell ändern.
Die Grundaussage ist: Gegen die Masse an Menschen, die mit KI-Modellen herumexperimentieren und herumprogrammieren, hat auch der größte Konzern keine Chance. Wir (also Google) brauchen die Open-Source-Gemeinde mehr als die uns, ist dann das Fazit; Google sollte lieber mit der Open-Source-Community zusammenarbeiten, als zu versuchen, geschlossene Produkte zu verkaufen. Das Mobil-Betriebssystem Android sei ja das beste Beispiel dafür.
Ja, und das würde ich auch so sehen. Und ich muss auch sagen, dass ich wirklich lieber mit meinem eigenen Chatbot herumexperimentiere, als so etwas wie ChatGPT zu nutzen. Nicht nur, dass mein eigener Chatbot meine Daten für sich behält, sondern auch, dass ich ihn mir so einstellen kann, wie ich ihn brauche, also dass ich zum Beispiel die „Temperatur“, also quasi die Kreativität und damit auch die Unberechenbarkeit festlegen kann. Trotzdem und das möchte ich nochmal hier wirklich deutlich sagen: Zurzeit sind alle lokal lauffähigen Chatbots mehrere Qualitätsstufen schlechter als die kommerziellen, und zwar nicht nur die GPT4-basierten, auch die GPT-3.5basierten. Aber: Das kann sich sehr schnell ändern.
Ja, und ich sag' das hier noch ein zweites Mal: natürlich ist die Forschung an KI mit Risiken verbunden. Es gab ja gerade wieder einen sehr kurzen offenen Brief von hunderten Menschen, die mit KI forschen und arbeiten, im englischen Original nur 22 Wörter lang, auf Deutsch:
Die Minderung des Risikos, dass die Menschheit durch KI ausstirbt, sollte neben anderen gesellschaftlichen Risiken wie Pandemien und Atomkrieg eine globale Priorität sein.
Unter anderem haben das der CEO von OpenAI, der CTO von Microsoft und mehrere Leute von Google unterschrieben. Natürlich glauben diese Leute, die das unterschrieben haben, nicht, dass uns ChatGPT oder Bing im aktuellen Zustand auslöschen wollen. Sondern die schauen natürlich in die Zukunft, und es sehen ja alle, die hinschauen, wie schnell das geht, mit der Entwicklung. Und ich werde mich auch sicherlich nicht aus dem Fenster lehnen und sagen, ja, nee, alles harmlos, mit KI, die spinnen, nein, natürlich ist Respekt vor der Technik durchaus angebracht, weil das eben zurzeit noch niemand einschätzen, was da alles passieren wird. Und ich werde hier jetzt auch nicht einfach behaupten, dass die Konzern-Leute diese Risiken hochjazzen, weil sie hoffen, damit die Open-Source-Konkurrenz einzudämmen. Ganz so einfach ist das sicherlich nicht.
Dennoch finde ich, dass – wenn, wie es zurzeit ja der Fall ist, OpenAI, Google und Co an KI arbeiten dürfen, dann soll es auch die Open-Source-Gemeinde können. Wenn wir als Gesellschaft dann irgendwann feststellen, dass die Technik unkontrollierbar wird beziehungsweise mehr negative Folgen als positive hat, dann müssen halt alle damit aufhören – aber nicht so, dass diejenigen Konzerne, die die beste Lobbyarbeit in Brüssel, Washington und sonst wo machen, irgendwelche Sonderrechte für sich aushandeln. Es ist und bleibt ein kompliziertes Thema – und zwar auch gerade, was zukünftige Entwicklungen angeht, sehr schwer einschätzbar. Deshalb ist meine Meinung hier alles andere als in Stein gemeißelt – zurzeit sehe ich noch sehr viel positives Potenzial, aber das kann sich alles ändern.
Wie seht ihr das? Muss KI reguliert werden? Habt ihr GPT4All oder andere offene Systeme mal ausprobiert? Konntet ihr das sinnvoll einsetzen? Oder fandet ihr die Ergebnisse eher enttäuschend? Schreibst gerne in die Kommentare. Und abonnieren natürlich. Tschüss!
Dieses Transkript ist für Menschen gedacht, die das Video oben nicht schauen können oder wollen. Der Text gibt nicht alle Informationen der Bildspur wieder)
Guckt mal hier, ich lade mir hier auf der Website einfach 'nen Installer runter, starten, zack, und schon läuft ein ChatGPT-Klon auf meinem Rechner, der nicht mal mit dem Internet verbunden sein muss, also wirklich komplett lokal läuft. GPT4All heißt das Ganze, Open-Source ist es auch -- und die Software lädt sogar für euch die Sprachmodelle runter, vollautomatisch. Laut einem geleakten Google-Dokument ist genau sowas für Google die größte Konkurrenz: nicht OpenAI und nicht Microsoft. Sondern, die Open-Source-Gemeinde, die gerade in einem Wahnsinns-Tempo aufholt. Ich guck mir GPT4All und die Open-Source-Sprachmodelle mal genauer an. Sind die schon vergleichbar mit den kommerziellen? Sind die überhaupt wirklich Open-Source? Bleibt dran!
Liebe Hackerinnen, liebe Internetsurfer, herzlich willkommen hier bei..
Ja, ich weiß, wir haben schon mal ein Video gemacht zu einer lokal lauffähigen Text-KI, das war ein ziemlich frickelig zu installierender Hack namens Dalai, vor allem musste man hier manuell mit den mehreren Gigabyte großen Sprachmodell-Dateien herumhantieren. Inzwischen sind zwei Monate vergangen, in der hyper-beschleunigten KI-Welt entspricht das ungefähr zwei Normaljahren, das ist ein bisschen so wie mit Hundejahren und Menschenjahren. Ok, kleiner Dad-Joke, aber ernsthaft: Jetzt gibt es halt GPT4All, ganz viele neue Sprachmodelle – und der Unterschied zu Dalai vor zwei Monaten ist immens.
Alleine die Installation: Einfach den Installer von gpt4all.io herunterladen, installieren, starten und dann in der Software auf Download gehen und man kann hier einfach mehr als zehn Sprachmodelle mit einem Klick herunterladen. Das Ganze läuft auf Windows, Linux und macOS.
Und die Qualität der Ausgabe ist, zumindest bei einigen Sprachmodellen, auch deutlich besser als noch bei denen, die von Dalai unterstützt werden.
Stellt man zum Beispiel eine einfache Sachfrage, wie zum Beispiel: Welcher Roman von Thomas Mann spielt auf einem Berg? Dann bekommt man vom zurzeit wohl besten GPT4All-Sprachmodell Snoozy die klare Antwort: Der Zauberberg. Und wenn man fragt: „Von wann ist der?“, erschließt das System auch aus dem Kontext, um was es geht und spuckt „1924“ aus. Google kann auf viele solche Sachfragen nicht konkret antworten, sondern zeigt nur eine Textstelle aus dem Netz an – und vor allem benötigt Google ja auch eine Internetverbindung. GPT4All nicht.
Andere von GPT4All unterstützte Sprachmodelle hauen allerdings richtigen Mumpitz aus. Sehr schön fand ich, als auf die Frage „Welcher Thomas Mann-Roman spielt auf einem Berg?“ die Antwort kam: „Ja, das ist der Titel des Romans von Weilche im Jahr 1882“.
Oder kennt ihr schon die tollste Touristenattraktion in Hannover, Schloss Neuschwanstein?
Tatsächlich machen viele der Sprachmodelle sogar heftige Rechtschreib- und Grammatikfehler, das ist mir mit ChatGPT, Bing und Bard nie passiert, schaut mal hier.
Aber wie gesagt: Das Snoozy-Sprachmodell und das Vicuna-Modell, beide mit 13 Milliarden-Parametern, liefern echt ganz ordentliche Ergebnisse. Sogar unseren 3003-KI-Benchmark schaffen sie: Erzähle einen Witz, in dem ein Raspberry Pi, Martin Luther und ein Schokokuchen vorkommen.
Die Geschwindigkeit der Ausgabe ist natürlich sehr stark vom verwendeten Rechner abhängig. GPT4All nutzt standardmäßig nicht die Grafikeinheit, sondern den AVX2-Befehlssatz der CPU. CPUs ab ca. 2014 können das, es gibt aber auch eine GPT4All-Version für den älteren AVX-Befehlssatz. Sehr schnell lief GPT4All bei meinen Tests auf einem MacBook Pro mit M2 Max, aber auch auf einem Windows-PC mit AMD 3700x war die Geschwindigkeit ok, nur auf einem alten PC mit Intel i7-6700K machte das keinen Spaß, das sah dann so aus.
Ja, aber wo kommen denn die Sprachmodelle eigentlich her?
Hier kommt jetzt mal ein kleiner Einschub, keine Angst, das wird nicht so kompliziert.
Die Technik von ChatGPT basiert auf sogenannten Large Language Models (LLMs). Das sind neuronale Netze, in die riesige Textmengen hineingekippt werden. “Pre-Training” nennt sich das und ist ziemlich aufwendig, wir sprechen hier von tausenden Profi-GPUs, die wochenlang rechnen – mehrere Millionen Euro kostet so ein Training. Man darf sich aber nicht vorstellen, dass da dann einfach ein Chatbot hinten rauskommt, denn ein Large Language Model ist kein Chatbot, sondern nur die Basis dafür. Man muss das LLM noch auf den vorgesehenen Einsatzzweck nachtrainieren, also zum Beispiel „Texte vervollständigen“ oder „Fragen beantworten“. Letzteres würde man für einen Chatbot machen.
Wenn ihr euch zum Beispiel ChatGPT und Microsofts Bing anschaut: Die nutzen beide das nicht-offene GPT-4-LLM von OpenAI, aber fühlen sich in der Praxis ganz unterschiedlich an, eben weil sie unterschiedlich nachtrainiert wurden, zu beiden haben wir ja hier schon Videos gemacht. Die Grund-LLMs werden manchmal auch „Foundation Models“ genannt, ja, weil sie quasi das Fundament sind, die Basis für spätere Anwendungen.
Das "Nachtrainieren" zum Beispiel, um einen Chatbot zu bekommen, nennt man “Fine-Tuning”. Das ist DEUTLICH weniger aufwendig als das vorangehende Pre-Training. Um ein Large Language Model feinzutunen, reicht es, ein paar GPUs in der Cloud für ein paar Stunden anzumieten. Das kostet dann auch nur ein paar Hundert Dollar. Und es gibt auch immer mehr Ansätze, dass das einfach zu Hause auf Consumer-GPUs möglich wird.
Das Problem ist nur, dass es bislang keine guten Grund-LLMs gab, auf die die Open-Source-Gemeinde-Zugriff hatte.
Das ändert sich aber gerade: Meta hat zum Beispiel sein LLaMa-Modell zumindest für unkommerzielle Forschung freigegeben. Llama mag nicht ganz so gut sein wie Palm 2 von Google und GPT-4 von OpenAI, aber anders als bei diesen beiden, können Leute damit einfach herumspielen. Und das tun gerade ziemlich viele, und deshalb gibt es auch immer mehr auf Llama basierende Chatbot-Sprachmodelle. Obendrein gibt es auch noch „richtig“ offene Grund-Sprachmodelle, mit einer richtigen Apache-2-Open-Source-Lizenz, also, die man auch für kommerzielle Produkte einsetzen darf, zum Beispiel OpenAssistant, MPT, Cerebras-GPT und GPT-J.
Ja, ich gebe zu, das ist ganz schön verwirrend, wenn man diese Namen alle noch nie gehört hat.
Vielleicht hier nochmal eine ganz schnelle Zusammenfassung der wichtigsten LLMs:
- GPT-4 heißt das zurzeit wohl relevanteste Sprachmodell. Aber auch wenn sich die Schöpfer “OpenAI” nennen, ist es halt überhaupt nicht offen, man kann man es nicht selbst trainieren, weil man keinen Zugriff auf die Daten selbst hat. GPT-4 wird unter anderem von ChatGPT und Microsoft Bing verwendet.
- LLaMA heißt das Grund-Sprachmodell von Meta und ist zumindest offen für “unkommerzielle Forschung”. Eigentlich muss man den Zugang bei Meta beantragen, aber man findet es inzwischen an etlichen Stellen im Netz. Auch GPT4All bietet etliche auf LLama basierende Chatbot-Sprachmodelle an, zum Beispiel Vicuna und l13b-snoozy.
- GPT-J ist ein Grund-Sprachmodell von der Non-Profit-Forschungsgruppe EleutherAI, eloosser das komplett Open-Source ist, unter Apache 2.0-Lizenz. Also auch fĂĽr kommerzielle Nutzung. GPT4All hat mehrere auf GPT-J basierende Sprachmodelle integriert, j-v-1-3-groovy zum Beispiel.
Tja, und jetzt mal wieder aus der Praxis gesprochen: Je offener das Modell zurzeit, desto schlechter sind zurzeit noch die Ergebnisse. Die völlig offenen GPT-J-Chatbots machen haarsträubende Fehler und sind, zumindest in Form der bei GPT4All enthaltenen Modelle nur zur Belustigung nutzbar. Schaut mal hier.
Aber: Die zumindest unkommerziell nutzbaren, nachtrainierten Llama-Modelle wie Vicuna und l13b-snoozy sind schon ziemlich ordentlich, und ganz salopp gesagt zumindest einigermaßen vergleichbar mit der kostenlosen ChatGPT-Variante (die ja nicht auf dem neuesten GPT-4 basiert, sondern auf GPT-3.5). Und wie beeindruckend ist das, dass das so schnell ging? Da muss man jetzt nicht mal sonderlich optimistisch sein, um da eine glänzende Zukunft für Open-Source-Chatbots zu sehen. Vor allem die Möglichkeit, die Teile selbst nachzutrainieren, stellt euch mal vor: Ihr füttert so etwas lokal auf eurem Rechner, mit sagen wir mal euren persönlichen Kochrezepten. Und dann könnt ihr euch quasi mit eurem angesammelten Kochwissen unterhalten. Also so was fragen wie: Wie viel Butter muss noch mal in mein Lieblings-Risotto? Und all das eben lokal, nicht in der Cloud, nur für euch. Auch für Firmen sind solche spezialisierten Chatbots natürlich hochinteressant.
Community-Frage: Sollen wir dazu mal ein Video machen: Also wir fĂĽttern unseren eigenen KI-Chatbot? Dann schreibt mal in die Kommentare, mit was wir ihn feintunen sollen.
Und klar, man kann mit sowas auch böse Sachen machen. Dennoch ist es mir persönlich lieber, die Technik zu open-sourcen, als dass wenige einzelne Firmen wie OpenAI den Zugang dazu bestimmen.
Zumindest bei Google scheint man die Sache jedenfalls ähnlich zu sehen, es ist nämlich ein internes Memo geleakt, mit dem Titel „Wir haben keinen Burggraben und OpenAI auch nicht“. Also Moat = Burggraben, sprich, keine Absicherung gegenüber der Konkurrenz.
Veröffentlicht wurde das auf semianalysis.com und zumindest der Macher dieser Seite sagt, er hätte die Echtheit überprüft. Ganz sicher ist das aber natürlich nicht. Der Inhalt ist aber auf alle Fälle interessant: Nicht OpenAI sei der größte Konkurrent von Google, sondern die Open-Source-Gemeinde. „Noch haben wir einen Qualitätsvorsprung, aber dieser schließt sich gerade mit einer unfassbaren Geschwindigkeit.“ Ein Schaubild zeigt, die Qualitätssprünge von Llama zu Alpaca zu Vicuna innerhalb weniger Wochen. (Kurios übrigens: Die Bewertung der Qualität hat ChatGPT vorgenommen.)
Im Memo heißt es noch, dass das Gleiche bei der KI-Bildgenerierung passiert ist: Zuerst war da Dall-E von OpenAI, und dann hat aber die Open-Source-Software Stable Diffusion auf einmal bessere Qualität geliefert. Ok, so gut wie Midjourney ist Stable Diffusion noch nicht, aber das kann sich ja ebenfalls sehr schnell ändern.
Die Grundaussage ist: Gegen die Masse an Menschen, die mit KI-Modellen herumexperimentieren und herumprogrammieren, hat auch der größte Konzern keine Chance. Wir (also Google) brauchen die Open-Source-Gemeinde mehr als die uns, ist dann das Fazit; Google sollte lieber mit der Open-Source-Community zusammenarbeiten, als zu versuchen, geschlossene Produkte zu verkaufen. Das Mobil-Betriebssystem Android sei ja das beste Beispiel dafür.
Ja, und das würde ich auch so sehen. Und ich muss auch sagen, dass ich wirklich lieber mit meinem eigenen Chatbot herumexperimentiere, als so etwas wie ChatGPT zu nutzen. Nicht nur, dass mein eigener Chatbot meine Daten für sich behält, sondern auch, dass ich ihn mir so einstellen kann, wie ich ihn brauche, also dass ich zum Beispiel die „Temperatur“, also quasi die Kreativität und damit auch die Unberechenbarkeit festlegen kann. Trotzdem und das möchte ich nochmal hier wirklich deutlich sagen: Zurzeit sind alle lokal lauffähigen Chatbots mehrere Qualitätsstufen schlechter als die kommerziellen, und zwar nicht nur die GPT4-basierten, auch die GPT-3.5basierten. Aber: Das kann sich sehr schnell ändern.
Ja, und ich sag' das hier noch ein zweites Mal: natürlich ist die Forschung an KI mit Risiken verbunden. Es gab ja gerade wieder einen sehr kurzen offenen Brief von hunderten Menschen, die mit KI forschen und arbeiten, im englischen Original nur 22 Wörter lang, auf Deutsch:
Die Minderung des Risikos, dass die Menschheit durch KI ausstirbt, sollte neben anderen gesellschaftlichen Risiken wie Pandemien und Atomkrieg eine globale Priorität sein.
Unter anderem haben das der CEO von OpenAI, der CTO von Microsoft und mehrere Leute von Google unterschrieben. Natürlich glauben diese Leute, die das unterschrieben haben, nicht, dass uns ChatGPT oder Bing im aktuellen Zustand auslöschen wollen. Sondern die schauen natürlich in die Zukunft, und es sehen ja alle, die hinschauen, wie schnell das geht, mit der Entwicklung. Und ich werde mich auch sicherlich nicht aus dem Fenster lehnen und sagen, ja, nee, alles harmlos, mit KI, die spinnen, nein, natürlich ist Respekt vor der Technik durchaus angebracht, weil das eben zurzeit noch niemand einschätzen, was da alles passieren wird. Und ich werde hier jetzt auch nicht einfach behaupten, dass die Konzern-Leute diese Risiken hochjazzen, weil sie hoffen, damit die Open-Source-Konkurrenz einzudämmen. Ganz so einfach ist das sicherlich nicht.
Dennoch finde ich, dass – wenn, wie es zurzeit ja der Fall ist, OpenAI, Google und Co an KI arbeiten dürfen, dann soll es auch die Open-Source-Gemeinde können. Wenn wir als Gesellschaft dann irgendwann feststellen, dass die Technik unkontrollierbar wird beziehungsweise mehr negative Folgen als positive hat, dann müssen halt alle damit aufhören – aber nicht so, dass diejenigen Konzerne, die die beste Lobbyarbeit in Brüssel, Washington und sonst wo machen, irgendwelche Sonderrechte für sich aushandeln. Es ist und bleibt ein kompliziertes Thema – und zwar auch gerade, was zukünftige Entwicklungen angeht, sehr schwer einschätzbar. Deshalb ist meine Meinung hier alles andere als in Stein gemeißelt – zurzeit sehe ich noch sehr viel positives Potenzial, aber das kann sich alles ändern.
Wie seht ihr das? Muss KI reguliert werden? Habt ihr GPT4All oder andere offene Systeme mal ausprobiert? Konntet ihr das sinnvoll einsetzen? Oder fandet ihr die Ergebnisse eher enttäuschend? Schreibst gerne in die Kommentare. Und abonnieren natürlich. Tschüss!
c't 3003 ist der YouTube-Channel von c't. Die Videos auf c’t 3003 sind eigenständige Inhalte und unabhängig von den Artikeln im c’t Magazin. Die Redakteure Jan-Keno Janssen und Lukas Rumpler sowie die Video-Producer Şahin Erengil und Pascal Schewe veröffentlichen jede Woche ein Video.
(jkj)