KI-generierte Gewebebilder: Studie zeigt Täuschungsgefahr
Echt oder KI-erzeugtes Bild? Experten lassen sich bei Entscheidung mehr Zeit, richtige Antworten werden (intuitiv) schneller abgegeben als falsche.
KI-generierte Gewebeschnittbilder können auch Experten täuschen.
(Bild: Universitätsklinikum Jena)
Bei der Frage, ob ein Bild echt oder per KI generiert ist, wird die richtige Zuordnung von Menschen zwar (intuitiv) deutlich schneller getroffen als die falsche, aber die Einschätzung stellt sie trotzdem vor Herausforderungen. Dies hat eine Studie der Uni Jena mit dem Titel "Experten können KI-generierte histologische Daten nicht zuverlässig erkennen" ergeben. 800 Teilnehmer sollten hierfür echte und künstliche Gewebeschnittbilder klassifizieren.
In der Histopathologie kommen zunehmend Deep-Learning-Algorithmen zum Einsatz, die Pathologen dabei unterstützen, Auffälligkeiten, wie Krebs in Gewebeschnittproben zu erkennen und einzuordnen. Medizinische Diagnosen können mit Hilfe von KI schneller und präziser gestellt werden. Für das Training der KI-Modelle werden umfangreiche Datensätze benötigt. Neben echten Bildern können dafür im Pre-Training auch KI-generierte synthetische Bilder zum Einsatz kommen, um die Erkennungsrate von Modellen für bestimmte Krebsarten zu verbessern. Forschungen dazu, ob man KI (allein) auf synthetischen Daten trainieren sollte, werden von Experten aber kontrovers diskutiert.
Betrug mit manipulierten oder gefälschten Daten nimmt zu, denn nicht nur mit ChatGPT lassen sich schnell erfundene KI-Messdaten erstellen.
"Experten" und Laien im Test
Insgesamt nahmen 800 Studierende an der Studie teil. 526 Teilnehmer davon wurden als "Experten" eingestuft. Die anderen wurden der Laien-Gruppe zugerechnet. Ein "Experte" war, wer schon einmal histologische Bilder gesehen hatte. Im Medizinstudium lernen Studenten im Fach Anatomie in den ersten Jahren die Feinstruktur (Gewebe und Zellen) der Organe kennen, dabei werden auch Histologie-Präparate genauer unter das Mikroskop genommen.
Um die künstlichen Gewebeschnittbilder für die Studie zu generieren, wurde DreamBooth verwendet, um das Stable Diffusion-Modell feinzutunen. Mit echten Schnittbildern von angefärbtem Gewebe aus Mäusenieren wurden zwei separate Stable Diffusion-Modelle trainiert: Das eine Modell mit 3 und das andere Modell mit 15 Bildern.
Mit jedem Modell wurde dann jeweils ein Batch von 100 künstlichen Bildern erzeugt. Aus diesen beiden Sets von 100 künstlichen Bildern wurden per Zufall vier Bilder ausgewählt. Diese acht künstlichen Bilder wurden mit den drei echten Trainingsbildern aus dem einen Modell und einer Auswahl von fünf der 15 Trainingsbilder des anderen Modells gemischt. Die Studienteilnehmer bekamen dann insgesamt 16 Bilder einzeln nacheinander vorgelegt und sollten jeweils entscheiden, ob es ein echtes oder ein KI-generiertes Bild ist, oder sie gaben keine Antwort ab.
Die Laiengruppe konnte in 55 Prozent der Fälle die Bilder richtig einordnen. Die Expertengruppe ordnete 70 Prozent richtig ein. KI-Bilder, die aus dem Modell kamen, das nur mit drei echten Bildern trainiert worden war, wurden dabei häufiger korrekt als nicht echt enttarnt. Kein Laie schaffte es, alle Bilder richtig zu klassifizieren. Aus der Experten-Gruppe schafften es nur 10 Teilnehmer.
Schnellere Reaktionen bei korrekten Antworten
Unabhängig von dem gezeigten Bild fielen die Entscheidungen bei allen Teilnehmern meistens innerhalb der ersten 30 Sekunden. Grundsätzlich nahmen sich die Experten im Durchschnitt aber mehr Zeit für jede einzelne Entscheidung als die Laien.
Bemerkenswert war, dass alle Teilnehmer – egal ob Experten oder Laien – signifikant schneller waren, wenn sie ein Bild korrekt einordneten, als wenn sie falsch lagen. "Eine Beobachtung, die mit gängigen Modellen der wahrnehmungsbasierten Entscheidungsfindung im Einklang steht" sagt Studien-Erstautor Dr. Jan Hartung.
Mit der Weiterentwicklung von generativen Algorithmen wird es für den Menschen immer schwieriger, KI-generierte Inhalte zu erkennen. Studienleiter Prof. Dr. Ralf Mrowka fasst zusammen: "Unser Experiment zeigt, dass die Erfahrung hilft, gefälschte Bilder zu erkennen; dass aber auch dann ein nicht geringer Anteil künstlicher Bilder nicht zuverlässig identifiziert wird."
Um Betrug in wissenschaftlichen Publikationen zu verhindern, empfehlen die Studienautoren unter anderem die Einführung technischer Standards, um die Sicherstellung der Datenherkunft zu gewährleisten. Es sollte eine Pflicht zum Einreichen der Rohdaten geben. Auch komme der Einsatz automatisierter Tools zur Erkennung von gefälschten Bildern in Betracht.
(mack)