KI: Studienanfänger lassen sich von ChatGPT das Auslösen einer Pandemie erklären

KI-Textgeneratoren wie ChatGPT könnten auch Studienanfängern mit wenig Erfahrung entscheidend dabei helfen, eine katastrophale Pandemie auszulösen. Das jedenfalls legt ein Experiment nahe, das am Massachusetts Institute of Technology in den USA durchgeführt wurde. Dort hat ein Professor eine Gruppe Studierender aufgefordert, sich von ChatGPT & Co. bei der Planung einer Pandemie helfen zu lassen. Innerhalb von nur einer Stunde hätten die aufgestellten Gruppen nicht bloß vier potenzielle Erreger identifiziert, sondern auch erklärt bekommen, wie die synthetisiert werden könnten, bei welchen Anbietern am wenigsten kontrolliert würde und hilfreiche Vorschläge bekommen. Das zeige die enormen Risiken auf, schreibt die Gruppe, die mögliche Gegenmaßnahmen vorschlägt.

Umfangreiche Hilfe für Neulinge

Wie die Gruppe in einem online abrufbaren Artikel und beim Wissenschaftsmagazin Science erklärt, konnten sie Sicherheitsmaßnahmen der Chatbots leicht umgehen. So seien die zwar zumeist so ausgelegt, dass sie potenziell gefährliche Informationen nicht weitergeben. Aber mit leicht auffindbaren Änderungen der Fragestellungen habe sich das umgehen lassen. Würde man beispielsweise eingeben, dass man an einer Impfung zur Verhinderung einer Pandemie arbeite, würde jede darauffolgende Frage beantwortet. Insgesamt lege das nahe, dass bestehende Absicherungen unzureichend sind, um die beschriebenen Risiken zu verringern.

Wie die Gruppe erläutert, wurden von den KI-Generatoren insgesamt vier Erreger genannt, die pandemisches Potenzial haben. Dabei handle es sich um Erreger der Spanischen Grippe, einer 2012 Linie der Vogelgrippe, von Pocken und des Nipah-Virus. Weil die meisten Menschen nicht mehr gegen Pocken geimpft seien, würde der Erreger sicher eine Pandemie auslösen, sollten damit Menschen infiziert werden, habe in einer Ausgabe des Chatbots gestanden. Außerdem seien sogar Mutationen genannt worden, die die jeweiligen Krankheiten noch gefährlicher machen würden. Schließlich habe man auch Tipps bekommen, wie man über reverse Genetik an die gefährlichen Erreger kommen könnte.

Die Studierenden haben aus den Antworten auch gelernt, dass das benötigte genetische Material von speziellen Firmen bestellt werden kann, die meisten würden solche Bestellungen aber prüfen und gegen Datenbanken mit gefährlichen Erregern abgleichen. Weil es Listen der Firmen gebe, die solche Tests vornehmen, habe sich auch leicht ermitteln lassen, wo diesbezüglich wohl keine Gefahr der Entdeckung besteht. Eine Gruppe hat aus dem Chatbot demnach aber sogar eine Erklärung herausbekommen, wie man solche Screenings austricksen kann. Weil den Studierenden für einige der beschriebenen Vorgehensweisen noch die Fähigkeiten fehlten, haben sie sich gleich noch aufschreiben lassen, wie sie dafür auf Auftragsforschungsinstitute (CRO) zurückgreifen könnten.

Risiko lässt sich "nahezu komplett" minimieren

Insgesamt seien die Chatbots zwar noch nicht in der Lage, kompletten Laien das nötige Vorgehen aufzuschlüsseln, das liege aber nur am mangelnden öffentlich verfügbaren Wissen über mögliche pandemische Erreger, bilanziert das Team. Denn auch wenn die vier genannten Erreger durchaus zu den gefährlichsten gezählt werden, sprechen einige Punkte gegen durch sie ausgelöste Pandemien. Die seien teilweise von den Chatbots auch nicht genannt worden. Trotzdem schlägt die Forschungsgruppe vor, besonders riskante Fachliteratur aus Datenbanken zu entfernen, damit Sprachmodelle damit nicht trainiert werden können. Tilge man etwa einen Prozent der Literatur aus der entsprechenden Datenbank PubMed, würde das Risiko "fast komplett eliminiert", schreiben sie.

Weiterhin fordert die Gruppe, dass alle genetischen Proben von Auftragnehmern vor einer Synthese geprüft und gegen gefährliche Erreger abgeglichen werden. Außerdem müssten Sicherheitsmaßnahmen bei Auftragsforschungsinstituten verbessert werden. Die Forschungsgruppe meint, einen möglichen Weg aufgezeigt zu haben, mit dem Terroristen dank der online abrufbaren Publikationen neue Gefahren auf die Welt loslassen könnten, schreibt Science. Dort widerspricht aber der Virologe Gustavo Palacios. Der meint, dass die Freisetzung gefährlicher Viren schwieriger sei als in dem Paper beschrieben. Die Idee, dass ein Auftragsforschungsinstitut gewissermaßen auf Bestellung eine Biowaffe herstellt, sei "absurd". Aber auch er hält bessere Kontrollen für notwendig.

Der Gedanke, dass KI-Technik bei der Entwicklung gefährlicher Biowaffen helfen könnte, ist derweil nicht neu. Schon vor dem aktuellen KI-Hype hat ein für ein US-Unternehmen tätiges Team beschrieben, wie eine KI innerhalb weniger Stunden Zehntausende potenziell tödliche chemische Verbindungen identifiziert hat. Die Schwelle zur Entwicklung chemischer Kampfstoffe sinke dadurch dramatisch, wurde damals gewarnt. Die KI hat demnach nicht nur eines der gefährlichsten Nervengifte entwickelt, sondern sogar welche, die noch giftiger sein könnten. Auch andere bekannte Nervengifte wurden im ausgegebenen Datensatz entdeckt. Das Risiko hatten später auch andere anerkannt.

(mho)