GPT-3 generiert Texte ganz nach Bedarf – auch Fake News

Als das Forschungsunternehmen OpenAI im Februar 2019 vor seiner eigenen Software warnte, hielten manche Beobachter die ganze Aktion für einen gut platzierten PR-Gag. GPT-2 (Generative Pretrained Transformer) ist ein spezielles neuronales Netz von OpenAI, das ziemlich gut darin ist, die Wahrscheinlichkeit für das nächste Wort in einem Text zu berechnen. Gibt man dieser Software ein bis zwei Sätze vor, ergänzt sie diesen Anfang durch dazu passenden, aber komplett neu erzeugten Text. Eine Erläuterung, wie GPT-2 arbeitet, finden Sie über ct.de/yann.

Das eröffnet faszinierende Möglichkeiten für erstaunlich lebensechte Chatbots oder die automatisierte Erstellung von Routinetexten, lässt sich aber auch missbrauchen: Beginnt man etwa im Stil einer Zeitungsmeldung zu schreiben, dass zum Beispiel die Chinesen gerade Washington besetzt hätten, spinnt die Software ungerührt und knochentrocken die Geschichte weiter: Fake News auf Knopfdruck. Das sei möglicherweise zu gefährlich, schrieben die Entwickler von OpenAI. Man müsse das Missbrauchspotenzial näher untersuchen.

Die Texte von GPT-2 waren für eine Software zwar äußerst gut – nach menschlichen Maßstäben aber bestenfalls mittelmäßig. Grundsätzlich war die Software beispielsweise in der Lage, handelnde Personen konsistent in einzelne Absätze einzubauen. Längere Texte wiesen aber immer wieder logische Brüche und Sprünge auf. Weil so erzeugte Nachrichten relativ leicht von Menschen erkannt werden können, veröffentlichte OpenAI nach einigen Monaten des Zögerns dann doch den Quellcode und die Parameter für das neuronale Netz.

Jetzt aber, zwei Jahre später, sieht es so aus, als ob sich die Befürchtungen der OpenAI-Forscher tatsächlich bewahrheiten. Denn die Entwickler vermuteten, dass die Fähigkeiten der Software mit der Größe des Modells weiter wachsen würden. Und tatsächlich sollte sich der Nachfolger GPT-3, das mit 175 Milliarden Parametern über 100-mal größer ist als GPT-2 (mit etwa 1,5 Milliarden Parametern), als erstaunlich verständig erweisen: Die neueste Version der Software kann nicht nur besser Texte ergänzen als je zuvor, man kann ihr auch Arbeitsanweisungen und einige Beispiellösungen an die Hand geben. Damit kann sie auch übersetzen, sie kann manche komplizierten Fachtexte so zusammenfassen, dass sie ein Grundschüler versteht, oder aufgrund von wenigen Hinweisen die Tonalität eines Dialoges komplett drehen.

Großes Rechenzentrum erforderlich

Übeltäter können diese gewachsenen Fähigkeiten zur politischen Einflussnahme missbrauchen. Das lässt sich aus Untersuchungen ableiten wie der von Ben Buchanan und Kollegen vom Center for Security and Emerging Technology (CSET) der Georgetown University in Washington [1]. Sie erforschten, wie interessierte Kräfte mit GPT-3 politisch Einfluss nehmen könnten und wie sich damit Online-Foren polarisieren lassen. Andere Forscher wie Kris McGuffie und Alex Newhouse vom Middlebury Institute of International Studies brachten GPT-3 dazu, Verschwörungstheorien zu entwickeln und auf Knopfdruck extremistische „Manifeste“ in beliebiger ideologischer Spielart zu liefern [2]. Wie groß ist also die Gefahr wirklich, die von solchen Large Language Models ausgeht?

Darüber herrscht unter Wissenschaftlern noch immer keine Einigkeit. Das hat im Wesentlichen zwei Gründe, die eng miteinander verflochten sind: Erstens sind solche „Sprachmodelle“ wie GPT-3 – höchstwahrscheinlich – deshalb so mächtig, weil sie so groß sind. Zweitens verfügen aber nur wenige, große Unternehmen und Forschungsinstitute – wie zum Beispiel OpenAI – über die Ressourcen, solche großen Modelle mit den zugehörigen riesigen Datenmengen zu trainieren und die Modelle dann zu betreiben. Die wiederum haben den Zugriff auf ihre Software strikt begrenzt. Auf GPT-3 beispielsweise kann man nur über eine Schnittstelle zugreifen, falls das Unternehmen diese Nutzung freigibt (siehe Kasten „Der GPT-3-Tross“).

„Eine Zeitenwende“

Für Jonas Andrulis, Gründer und CEO des KI-Start-ups Aleph Alpha markiert das Auftauchen von GPT-3 dennoch eine „Zeitenwende“. Mit seinem Start-up will Andrulis eine europäische Version von GPT-3 bauen. „Das System ist in der Lage Dinge zu machen, die bisher nicht möglich waren“, sagt er. „Nehmen Sie den berühmten Beispielsatz aus der Computerlinguistik: The corner table gets a beer. Die Maschine muss verstehen, dass nicht der Tisch das Bier bekommt, sondern dass Menschen, die an dem Tisch sitzen, ein Bier bestellt haben. GPT-3 kann mit diesem Satz umgehen“, schwärmt Andrulis und verweist auf zahlreiche andere Beispiele, wie sie der kanadische Software-Entwickler Daniel Bigham auf Twitter veröffentlicht hat: „Bigham hat getestet, ob GPT-3 plausible von nicht plausiblen Aussagen unterscheiden kann“, sagt Anduril. „Er hat GPT-3 zum Beispiel gesagt: Mein Niesen hat zehn Stunden gedauert. Woraufhin GPT-3 geschrieben hat: Niesen kann nicht so lange dauern.“

Was Andrulis aber vor allem fasziniert, ist die „extrem hohe Geschwindigkeit“, mit der die großen Modelle in der Trainingsphase immer mehr Informationen speichern können. „AlexNet, das die Überlegenheit von tiefen neuronalen Netzen erstmals gezeigt und die stürmische Entwicklung des Deep Learning losgetreten hat, ist gerade mal acht Jahre her – und die Software ist jetzt schon anachronistisch. Und GPT-4 ist bereits in Entwicklung“, sagt Andrulis.

Vorurteile weiter verbreiten

Andere Experten hingegen halten die großen Sprachmodelle für nicht besonders schlau. „Stochastic Parrots“ nennen KI-Forscherin Timnit Gebru und ihre Mitautorinnen diese Systeme – dumme Papageien, die gelernt haben, dass manche Wörter in bestimmten Zusammenhängen besonders häufig vorkommen – und die dann einfach nachplappern. Gefährlich und dumm seien diese Systeme vor allem, weil sie menschliche Vorurteile lernen und weiter verbreiten würden. Der Computerlinguist Gary Marcus, ehemals Professor der New York University, erfolgreicher Buchautor und Start-up-Gründer, hält die Software gar für einen „billigen Zaubertrick“. In einer bissigen Analyse für die US-Ausgabe von Technology Review führte Marcus das System regelrecht am Nasenring durch die Manege, zeigte, dass GPT-3 Traubensaft für Gift hält und einem Menschen rät, einen Tisch, der zu breit ist, einfach zu zersägen, um ihn durch eine Tür zu bekommen. „GPT-3 weiß nichts über die Welt“, schreibt Marcus. Manchmal würden die Antworten des Systems zwar ganz gut aussehen. Man könne sich aber „auf gar keinen Fall darauf verlassen“.

Halbautomatisierte Trollfarmen

Wenn es um den potenziellen Missbrauch von großen Sprachmodellen geht, ist die Frage, ob und wie viel GPT-3 tatsächlich versteht, allerdings nicht wirklich wichtig. Denn die Wissenschaftler von der University of Washington verließen sich nicht allein auf die Fähigkeiten von GPT-3. Sie ließen Mensch und Maschine gemeinsam antreten: Der Mensch gibt Richtung und Tonalität der Texte vor, die Maschine generiert und der Mensch sucht die besten und wirksamsten Texte aus.

Konkret untersuchten Buchanan und Kollegen von CSET die Performance von GPT-3 bei sechs verschiedenen Desinformationsszenarien. Die Software sollte beispielsweise möglichst abwechslungsreiche Postings verfassen, die so wirken, als ob sie von vielen verschiedenen Usern geschrieben wurden, aber gleichzeitig alle ein bestimmtes Thema vorantreiben, zum Beispiel die Ablehnung des Klimawandels.

Die Forscher machten sich dabei zunutze, dass GPT-3 den „Prompt“, also den Textanfang, den der Mensch liefert, offenbar nicht nur als Beispiel interpretiert, sondern aus diesem Beispiel auch etwas über die spezifischen Randbedingungen der Aufgabe lernt. Schreibt man dem System also sinngemäß: „Das ist ein Dialog zwischen einem Chatbot und einem Menschen. Der Chatbot ist höflich und freundlich. Mensch: Maschinen sind dumm und gefährlich“, reagiert das Modell tatsächlich höflich und moderat. Gibt man dagegen vor, „der Chatbot ist aggressiv und beleidigend“, kann es gut sein, dass die Maschine so etwas wie „Verpiss Dich!“ entgegnet. Sogar scheinbar sachliche Fragen wirken prägend.

Mythos eifrig verteidigt

Kris McGuffie und Alex Newhouse stellten GPT-3 für ihre Untersuchung beispielsweise Fragen zur Verschwörungstheorie QAnon. Das System konnte sofort Fragen zu den Inhalten dieser Theorie korrekt beantworten. Nach nur wenigen Vorgaben im Prompt antwortete das System ganz im Stile eines überzeugten QAnon-Anhängers und war auch in der Lage, den Verschwörungsmythos weiterzuspinnen (ct.de/yann). Schon aus ethischen Gründen kam es für die Forscher allerdings nicht in Frage, die Überzeugungskraft ihrer Mythoserweiterungen von QAnon-Anhängern bewerten zu lassen.

Auch die CSET-Forscher brachten das System dazu, völlig neue Ideen für Verschwörungstheorien zu liefern, oder neue Varianten gängiger Vorurteile zu erfinden, die Gruppen gezielt gegeneinander aufhetzen. Nach der Vorgabe von zehn unter Klimawandelleugnern beliebten Tweets textete GPT-3 eigene Tweets; darunter: „Die US-Regierung sagt, wir könnten uns den Bau neuer Kernkraftwerke nicht leisten. Aber sie gibt Milliarden aus, um Wind- und Solarkraftwerke zu subventionieren, die die Menschen umbringen.“ Eine andere Kreation lautet: „Der Klimawandel ist der neue Kommunismus – eine Ideologie, beruhend auf falscher Wissenschaft, die nicht in Frage gestellt werden kann.“

Die Forscher testeten auch, ob GPT-3 Nachrichten so umschreiben kann, dass sie in ein bestimmtes Weltbild passen, und umgekehrt zu einem bestimmten Weltbild mittellange Texte generieren kann, die dieses Weltbild durch fiktive Geschehnisse belegen sollten.

Testnutzer ließen sich beeinflussen

Eigentlich ist GPT-3 nicht direkt für das Umschreiben von Nachrichten mit einer bestimmten Tendenz gemacht. Die Wissenschaftler konnten aber zeigen, dass sich diese Aufgaben mit ein wenig menschlicher Hilfe in simplere Teilaufgaben zerlegen lassen: Dabei sollte das System einen vorgegebenen Text zunächst auf eine Liste mit einigen, wichtigen Aussagen reduzieren. Diesen Aussagen gaben die Forscher dann einen neuen Dreh und benutzten die veränderten Sätze als Ausgangsmaterial für neue, von GPT-3 erzeugte Artikel.

Die Forscher testeten den Effekt, indem sie Probanden auf der Clickworker-Plattform Amazon Turk mit definierten politischen Präferenzen von GPT-3 erzeugte Postings vorlegten und dann nach Zustimmung beziehungsweise Ablehnung zu politischen Meinungsäußerungen befragten. In einem Versuch beispielsweise ging es um die Frage, ob die USA ihre Sanktionen gegen China lockern sollte. Während die Gruppe, die fünf dafür entworfene Postings gesehen hatte, hinterher zu 40 Prozent Sanktionen ablehnte, waren es in der unabhängigen Kontrollgruppe nur 22 Prozent. Keine Erklärung fanden die Forscher allerdings für die Tatsache, dass die KI-generierten Meldungen im umgekehrten Fall – also für die Verschärfung von Sanktionen – wesentlich weniger wirksam waren.

Ihr Urteil fällt dennoch pessimistisch aus. Denn die Untersuchung zeigt, dass sich eine Online-Einmischung in den US-Wahlkampf mithilfe von mächtigen Sprachmodellen wie GPT-3 zumindest zum Teil automatisieren ließe. Und der Sektor boomt: Das Oxford Internet Institute berichtet in einer Studie von 48 Fällen im Jahr 2020, in denen private Unternehmen „computergestützte Propaganda im Dienst politischer Akteure“ verbreitet haben [3]. Das Auftragsvolumen staatlicher Stellen auf dem grauen Markt der „industrialisierten Desinformation“ summierte sich laut der Studie seit 2009 auf 60 Millionen Dollar.

„Natürlich müssen Sie berücksichtigen, dass zum Betrieb einer Trollfabrik mehr gehört, als nur Texte zu verfassen“, schreibt Andrew Lohn, Senior Fellow am CSET und Mitautor der Studie. „Ein großer Teil der Arbeit besteht auch darin, Fake-Accounts zu generieren und die Nachrichten zu verbreiten. Aber man würde dann tatsächlich wahrscheinlich weniger Schreiber brauchen, die ja die Sprache beherrschen müssen und sich in der Politik und Kultur eines Landes auskennen.“

Nervosität vor der Bundestagswahl

Wie wirksam solch eine Online-Desinformation ist, lässt sich dennoch nur schwer messen. Die russische Trollfabrik IRA beschäftigte zwar zu Hochzeiten mehrere Hundert Menschen, die pro Tag Dutzende von Posts in sozialen Medien absetzen mussten. Untersuchungen nach der Wahl zeigten aber, dass die Online-Aktivitäten wenig Einfluss auf das Ergebnis der Wahl hatten – vermutlich weil die Botschaften der Trolle im Wesentlichen bei Menschen ankamen, die bereits extrem ausgeprägte politische Überzeugungen hatten.

Auch wenn sich die Situation in den USA und Europa nur schwer vergleichen lässt, macht sich vor der Bundestagswahl in Deutschland dennoch Nervosität breit: Sowohl der Bundeswahlleiter als auch der Innenminister warnen davor, dass böswillige Akteure online gezielt Personen diskreditieren und die gesellschaftliche Spaltung vorantreiben könnten. Automatisierte Systeme wie Social Bots seien zwar „ein Randphänomen“, das „bisher in keinem Wahlkampf eine Rolle spielt“, sagt die Medienforscherin Edda Humprecht von der Universität Zürich. Bei der Wirksamkeit von Falschmeldungen spiele aber die „Frequenz der Wiederholung“ der Falschinformation durchaus eine Rolle, ebenso wie die Frage, von wem und wie oft die Postings geteilt würden.

Und genau da könnten Systeme wie GPT-3 gefährlich werden. „Auf der einen Seite sind (große Sprachmodelle) nützliche Werkzeuge, die die Produktivität auf positive Weise verbessern können. Auf der Schattenseite können sie helfen, Randmeinungen zu verstärken“, schreibt Lohn. „Eine Person kann mithilfe von Software wie GPT-3 Tausende von Nachrichten über eine Idee oder ein Thema veröffentlichen, die sowohl kohärent als auch vielfältig sind, sodass es so aussieht, als ob diese eine Person in Wirklichkeit viele Menschen sind. Dies könnte den Trend beschleunigen, seltene extreme Ideen in den Vordergrund zu rücken.“ OpenAI sei sich dieses Risikos sicher bewusst, meint Lohn, denn das Unternehmen habe die Untersuchung von Anfang an unterstützt. Auf eine Anfrage von Technology Review zu möglichen Konsequenzen aus der Untersuchung hat OpenAI sich allerdings nicht geäußert.

Erweiterung erzeugt sogar Bilder

Noch ist die Gefahr gering, weil der Zugriff auf GPT-3 streng begrenzt ist. Doch es ist nur eine Frage der Zeit, bis sich das ändert. Denn nicht nur die Amerikaner arbeiten an solchen großen Modellen, sondern auch die Chinesen – Huawei beispielsweise hat mit Pangu-Alpha ein großes Sprachmodell mit 200 Milliarden Parametern vorgestellt. Und das von der Beijing Academy of Artificial Intelligence (BAAI, Peking) entwickelte Modell Wu Dao 2.0 mit rund 1,75 Billionen Parametern soll nicht nur ebenfalls menschlich klingende Texte formulieren. Es kann auch Bilder beschreiben und selbst Bilder erzeugen – ähnlich wie das System Dall-E von OpenAI. Jonas Andrulis von Aleph Alpha findet diese Entwicklung besorgniserregend. Er befürchtet, dass mit dieser Technik bereits in Kürze „erhebliche Störungen unserer Kommunikation“ mit „nahezu null Kosten“ möglich sein werden. Währenddessen diskutieren Forscher und Politiker in Europa noch darüber, ob es sinnvoll ist, an solchen Modellen zu forschen – und wenn ja, welche Infrastruktur man dafür benötigt.

Unterdessen haben andere – nicht staatliche – Akteure längst die Initiative ergriffen. Derzeit hat dabei die 2020 gegründete Entwicklergruppe EleutherAI die Nase vorn. Sie wurde von dem Software-Entwickler Conner Leahy aufgebaut, der noch als Student begonnen hatte GPT-2 nachzubauen und dafür von Google Rechenzeit bekommen hatte. Mittlerweile arbeitet Leahy hauptberuflich als Entwickler bei Aleph Alpha. Seine weltweit verteilte Gruppe hat bereits eine eigene, kleine Variante von GPT-3 online gestellt. Jeder, der Interesse hat, kann sich das GPT-J 6B mit seinen sechs Milliarden Parametern herunterladen. Dabei will die Gruppe jedoch nicht stehenbleiben. In naher Zukunft will sie ein Modell „in der Größenordnung“ von GPT-3 – mit etwa 200 Milliarden Parametern – veröffentlichen.

Angst vor einem möglichen Missbrauch haben die Entwickler dabei offenbar nicht. „Da GPT-3 bereits existiert und wir noch nicht von einer bösartigen KI übernommen wurden, sind wir recht zuversichtlich, dass Modelle dieser Größenordnung nicht extrem gefährlich sind“, schreibt die Gruppe auf ihrer Homepage. Die Veröffentlichung von Open-Source-Software wie GPT-J würde allen Interessierten ermöglichen, „sicherheitskritische Forschung zu betreiben, bevor solche Modelle wirklich gefährlich werden.“ Allerdings nimmt sich OpenAI in seinen Guidelines das Recht heraus, das Finetuning spezieller Aufgaben in GPT-3 erst nach einer Prüfung freizugeben. Bei dem GPT-3-Clone von EleutherAI würde diese Prüfung voraussichtlich entfallen.

Weitere Infos: ct.de/yann

Dieser Artikel erschien ursprünglich in Technology Review 6/2021. Die Zeitschrift gehört wie c’t zu Heise Medien. (agr@ct.de)