Wissenschaftszeitschriften lassen sich von computer-generierten Unsinns-Artikeln übertölpeln
Diesmal betroffen: Subskriptionsjournale - Who is afraid of Peer Review?
Noch keine fünf Monate, nach dem John Bohannon in einem aufsehenerregenden journalistischen Beitrag im Magazin Science die Qualitätskontrolle wissenschaftlicher Open-Access-Zeitschriften pauschal in Frage stellte (Offen für Alles), stehen nun klassische Subskriptionsjournale unter der gleichen Anklage. Wie Richard van Noorden in Nature berichtete, konnte der französische Informatiker Cyril Labbé über 120 computer-fabrizierte Nonsens-Artikel in Zeitschriften und Konferenzbänden der Verlage Springer und IEEE nachweisen.
Bohannon bediente sich für seinen Science-Beitrag einer Art Wallraffiade: Er nahm aus einer Liste an Open-Access-Journalen, die für ihre minderwertige Qualitätssicherung bekannt waren, eine Stichprobe und reichte bei diesen Journalen unsinnige Artikel zur Publikation ein. Eine hohe Anzahl der Zeitschriften veröffentlichte diese Einreichungen, vermutlich weil sie ihr Geld mit den bei der Publikation fälligen Artikelgebühren verdienen. In Anbetracht der Grundgesamtheit (nämlich Journalen die als unseriös bekannt sind) kann das Ergebnis nur wenig überraschen und auch sonst unterlag Bohannons Artikel immenser Kritik (Unzutreffend, aber schmerzhaft: Der Open-Access-Sting der Zeitschrift Science). Dennoch erschütterte sein Text die Glaubwürdigkeit der Open-Access-Journale.
Nicht anders müsste es nun den Subskriptionsjournalen ergehen: Labbé konnte nachweisen, dass die genannten Verlage sinnfreie Artikel publizierten, die mittels der Software SCIgen maschinell erstellt wurden. Dabei ist SCIgen keine Geheimprojekt, sondern ein alter und recht bekannter Hut: Die Software wurde bereits 2005 von Jeremy Stribling, Daniel Aguayo und Maxwell Krohn am Massachusetts Institute of Technology (MIT) entwickelt und mischt Versatzstücke wissenschaftlicher Phrasen aus der Informatik in einer Art, die syntaktisch sinnvoll erscheint. Die SCIgen-Entwickler wollten mit ihrem Tool jedoch keine wissenschaftliche Betrugshilfe schaffen, sondern vielmehr die Leichtgläubigkeit, mit der man oft der Qualitätssicherung wissenschaftlicher Publikationsorgane entgegentritt, demaskieren.
Die Software selbst kann von jedermann genutzt werden, um eigene Fake-Artikel zu erstellen In nahezu desillusionierender Weise gibt Labbé im Interview mit Van Noorden zu Protokoll: "The papers are quite easy to spot." Man kann sich fragen, warum die Journale und Verlage sie dennoch veröffentlichten – eine Peer Review zur Qualitätssicherung wurde anscheinend nur auf dem Papier durchgeführt.
Beispiel für einen mit SCIgen erzeugten Artikel, inklusive Literaturverzeichnis, hier nur das Vorwort:
"Comparing Active Networks and Von Neumann Machines Using Hemuse Heinz Hirse Abstract Unified decentralized modalities have led to many confusing advances, including replication and Lamport clocks. Given the current status of atomic models, electrical engineers dubiously desire the understanding of Lamport clocks, which embodies the technical principles of machine learning. In order to realize this purpose, we propose an analysis of the UNIVAC computer (Hemuse), which we use to disprove that checksums can be made classical, authenticated, and "fuzzy". Though such a hypothesis is generally a structured ambition, it is supported by existing work in the field."
Labbé identifizierte die fingierten Texte mittels einer eigenentwickelten Software (zum Erkennen wäre demnach menschlicher Intellekt nicht einmal nötig) und bietet auf seiner Website sogar die Möglichkeit, Artikel auf eine Erstellung durch SCIgen testen zu lassen.
Labbé stellt im Nature-Artikel zudem recht deutlich heraus, dass er (anders als Bohannon) keinen Zusammenhang zwischen schlampiger oder fehlender Qualitätssicherung und dem Publikationsmodell (Open Access oder Subskription) erkennen kann, schließlich erschienen alle von ihm aufgedeckten Betrugsfälle in Subskriptionsjournalen.
Die Dunkelziffer an SCIgen-Papers in Subskriptionsjournalen könnte hoch sein, denn ihre Artikel könnten nur von Wissenschaftlern geprüft werden, deren Einrichtungen die Zeitschriften abonnierten. Dagegen ließen sich Open-Access-Artikel wesentlich einfacher auf eine derartige Manipulation prüfen, denn diese kann jedermann im Internet kostenlos nutzen und testen.