Fake Peer Review 2.0
Computergenerierte Gutachten zu wissenschaftlichen Artikeln werden von Wissenschaftlern mitunter für echt gehalten
Nicht allein das Predatory Publishing, bei dem Artikel gegen Zahlung einer Veröffentlichungsgebühr, jedoch ohne wirkliche Qualitätsprüfung publiziert werden, kennt immer neue Stilarten (Bats are real cool Animals) - nein, auch die Fake Peer Review wartet mit Innovationen auf.
Bislang nutzte man den Begriff der Fake Peer Review vorrangig, um von Autoren angefertigte Reviews eigener Artikeleinreichungen in Journalen zu beschreiben. Bei dieser Praxis schlugen die Autoren zwar andere Forscher als Experten zur Begutachtung ihrer Einreichungen vor, gaben dabei aber Emailaccounts an, die nur scheinbar diesen Wissenschaftlern gehörten, in Wirklichkeit jedoch durch die einreichenden Autoren selbst angelegt worden waren.
Alberto Bartoli, Andrea De Lorenzo, Eric Medvet und Fabiano Tarlao von der Universität Triest schildern nun in ihrer Publikation "Your Paper has been Accepted, Rejected, or Whatever: Automatic Generation of Scientific Paper Reviews", wie sie eine neue Variante der Fake Peer Review erprobten. Sie erstellten dazu computergenerierte Gutachten zu wissenschaftlichen Artikeln und baten 16 Wissenschaftler um die Lektüre und Bewertung dieser Reviews.
Die Datenbasis im Experiment bestand aus 48 echten Artikeln inklusive 168 ebenso echter dazugehöriger Reviews, die in den Journalen bzw. Publikationsplattformen F1000Research, Elifescience, Openreview und PeerJ erschienen. Allen vier Angeboten ist gemein, dass akzeptierte Texte mit ihren Reviews veröffentlicht werden.
In 30 % der Fälle hielten die Versuchspersonen die fingierten Gutachten für echt, in 25 % stimmten die Fachleute den gefakten Reviews zu und widersprachen den echten Reviews zu einem Artikel, sie ließen sich demnach in ihrer eigenen Beurteilung des Artikels von den Fälschungen beeinflussen.
Dies, obwohl die fabrizierten Reviews zwar aus syntaktisch korrekten, jedoch inhaltlich meist unpassenden Sätzen bestanden, die die Software wahllos aus anderen echten Gutachten unterschiedlicher Fächer zusammenkopierte. Verführerisch mag auf die menschlichen Leser gewirkt haben, dass die Fake Reviews immer klare Aussagen über die Publikationswürdigkeit eines Artikels trafen. Überdies, so Medvet in der Times Higher Education, enthielten die Review-Verschnitte selbstredend Allgemeinplätze, die in jedem Gutachten sinnvoll erscheinen, etwa "it would be good if you can also talk about the importance of establishing some good shared benchmarks".
Bisher nutzte man computer-generierte Texte eher, um die Peer Review von außen - und nicht wie im geschilderten Szenario von innen - zu testen. So entdeckte der französische Informatiker Cyril Labbé über 120 computer-fabrizierte Nonsens-Artikel in Zeitschriften und Konferenzbänden der Verlage Springer und IEEE. Diese wahrlich unsinnigen Texte passierten offensichtlich unbemerkt die Qualitätsprüfung der bloßgestellten Journale.
Das Experiment der italienischen Informatiker bietet Raum für Gedankenspiele. Korrupten Wissenschaftsjournalen drängt sich die Verfeinerung des eingangs erwähnten Predatory Publishings mit automatisch erstellten Reviews geradezu auf. Anstatt wie bisher keine oder eine minimale, oberflächliche Review durchzuführen, könnten man nun – gegebenenfalls unter Einsatz einer verbesserten Software – den ahnungslosen Autoren Gutachten präsentieren, die auf den ersten und womöglich auch zweiten oder dritten Blick echt wirken – und ihnen so die Illusion geben, ihre Publikationsgebühren keinem Betrüger, sondern einem seriösen Journal zu entrichten.