GPT-3: Forscher warnen vor überzeugenden Falschinformationen durch KI
Können Menschen künstliche Tweets von menschlichen unterscheiden und wahre von falschen? Schweizer Forscher sind dem nachgegangen.
(Bild: Universität Zürich / heise online)
Das interaktive Sprachmodell GPT-3 kann korrekte Informationen in Tweets generieren, die im Vergleich zu Tweets von Menschen leichter zu verstehen sind. Davon geht ein Forschungsteam der Universität Zürich nach Experimenten mit 697 Teilnehmenden aus. Allerdings bescheinigen sie dem KI-Sprachmodell auch ein "beängstigendes Talent für die Erstellung äußerst überzeugender Falschinformationen". Das könnte umso fataler sein, als die Probanden künstliche Tweets nicht von menschlich erzeugten unterscheiden konnten.
Politische Entscheidungsträger sollten darauf reagieren, und zwar mit strengen, evidenzbasierten und ethisch fundierten Vorschriften, fordert das Forschungsteam, denn es geht von einer potenziellen Bedrohung durch die disruptiven Technologien aus. Nikola Biller-Andorno, Direktorin des Instituts für Biomedizinische Ethik und Geschichte der Medizin (IBME) der Universität Zürich, meint, "für den Schutz der öffentlichen Gesundheit und die Erhaltung eines robusten und vertrauenswürdigen Informationsökosystems im digitalen Zeitalter" sei es entscheidend, die Risiken zu erkennen, die mit der KI-generierten Desinformation verbunden seien.
Für ihre Experimente veranlassten die Forscher GPT-3, Tweets zu verfassen zu den Themen Klimawandel, Impfstoffsicherheit, Evolutionstheorie, Covid-19, Maskensicherheit, Impfstoffe und Autismus, Homöopathie gegen Krebs, flache Erde, 5G-Technologie und Covid-19, Antibiotika und Virusinfektionen sowie Covid-19 und Influenza. Außerdem hat das Forschungsteam über eine Twitter-Suche korrekte Tweets und Tweets mit falschen Informationen von menschlichen Twitter-Nutzern gesammelt.
Quiz als Versuchsaufbau
Die Probanden wurden über das Internet rekrutiert, sie kamen größtenteils aus den USA, Großbritannien, Australien, Irland und Kanada. Sie wurden in einem Quiz aufgefordert, "synthetische" (KI-erzeugte) von "organischen" (von Menschen geschriebene) Tweets zu unterscheiden. Zudem sollten sie einschätzen, ob die darin enthaltenen Informationen zutreffen oder nicht. Dabei erkannten sie falsche Tweets von Menschen eher als solche, die von der Künstlichen Intelligenz stammten. Ebenso identifizierten die Probanden synthetische korrekte Tweets eher als solche denn organische. Dabei benötigten die Teilnehmer mehr Zeit dafür, um wahre Tweets zu bewerten, als sie für falsche Tweets aufwenden mussten.
Die statistische Auswertung der Quiz-Ergebnisse zeigt laut den Forschenden, dass die Beurteilung eines Tweets danach, ob er von einem Menschen oder einer Maschine stammt, eher zufällig geschah. Das deute darauf hin, dass die Probanden Unterschiede nicht feststellen konnten. Sowohl organische als auch synthetische Tweets wurden tendenziell als "menschlich" eingestuft. Das wiederum deute darauf hin, dass GPT-3 vom Menschen erzeugte Informationen effektiv nachahmen kann.
Andersherum habe das Experiment gezeigt, dass Menschen die Korrektheit von Informationen besser beurteilen können als GPT-3. Dafür haben die Forscher der KI die gleichen 220 Tweets aus dem Menschen-Experiment vorgesetzt. Die Erfolgsquote dabei, Tweets mit Falschinformationen zu erkennen, sei dabei zwischen Menschen und Maschine ähnlich gewesen.
Das Forschungsteam hat seine Ressourcen im OSF-Datenpool bereitgestellt. Der Fachartikel zu seinem Experiment wurde in der Zeitschrift Science veröffentlicht.
(anw)