arXiv ändert Regeln – KI-Studien zwischen Pre-Prints

close notice

This article is also available in English. It was translated with technical assistance and editorially reviewed before publication.

Don’t show this again.

Der Eindruck täuscht oftmals. So auch bei arXiv. Das ist eine offene Plattform für den Austausch über Forschungsergebnisse aus unter anderem den Bereichen Physik, Mathematik, Informatik, aber auch Wirtschaftswissenschaften und mehr. Die Studien sind dabei nicht zwingend in einem Gegenlese-Prozess gewesen, wie es für wissenschaftliche Untersuchungen üblich ist, die etwa in renommierten Journals und Fachpublikationen erscheinen. Das heißt, jeder konnte bisher Studien bei arXiv einreichen. Es sind oftmals sogenannte Pre-Prints. Und das wird der Plattform gerade zum Verhängnis – auf ihr finden sich zunehmend KI-generierte Studien.

Problematisch ist offenbar vor allem der Bereich Computerwissenschaften beziehungsweise Informatik. Da heißt es in einem Blogbeitrag, arXiv habe seine Moderationspraxis in Bezug auf Übersichtsartikel und Positionspapiere aktualisiert. Bevor diese eingereicht werden, müssen sie von einer Zeitschrift oder einer Konferenz angenommen worden sein – das heißt, ein Peer-Review-Verfahren erfolgreich durchlaufen haben. Die dazugehörigen Nachweise müssen künftig mit einem Paper abgegeben werden, sonst können sie nicht veröffentlicht werden.

"Diese Änderung wird aufgrund des unüberschaubaren Zustroms von Übersichtsartikeln und Positionspapieren zu arXiv CS umgesetzt." Und daran ist maßgeblich KI schuld. Offenbar handelt es sich nicht nur um komplett gefälschte Untersuchungen, sondern auch um Studien, für die Ergebnisse und Inhalte anderer Studien zusammengefasst wurden. Im Blogbeitrag heißt es, eingereichte Paper seien teilweise sogar bloß Bibliografien.

Viel Aufmerksamkeit für KI-Studien

arXiv schreibt auch, dass es sich nicht um eine Änderung der Nutzungsbedingungen handelt. Tatsächlich wurden bisher nur ausnahmsweise nicht gegengelesene Studien veröffentlicht, weil Moderatoren diese für spannend genug hielten und die Absender vertrauenswürdig waren. Da die freiwilligen Moderatoren der Plattform aber nicht die Kapazitäten und Fähigkeiten hätten, Einreichungen fachgerecht zu begutachten, macht arXiv diesen Schritt, auf die Expertise anderer zu setzen. Peer-Reviewer hätten Bedenken hinsichtlich des Datenschutzes, der Ethik, Sicherheit und Schutz bei neueren Technologien im Blick.

Während in allen Kategorien deutlich mehr Einreichungen auftauchen, seies es im Bereich Informatik besonders viele. Darunter fallen auch Paper, bei denen es um KI und Large Language Models geht. Freilich ist die Aufmerksamkeit hier zuletzt besonders hoch gewesen. So sollen auch Untersuchungen von Medien aufgegriffen worden sein, die in der Folge bei Peer-Reviews durchgefallen sind – sie also den wissenschaftlichen Kriterien nicht entsprachen.

Dabei ist arXiv nicht allein leidtragend. In der Wissenschaft tauchen allerorts KI-generierte Studien auf. Ganze vermeintliche Fachmagazine erscheinen, die freilich überhaupt keinen wissenschaftlichen Standards entsprechen. Ein schwedisches Forscherteam hat bereits gewarnt, wie schädlich der Einfluss von KI auf die Wissenschaft und damit die Gesellschaft sein kann. Auch Google Scholar und andere Datenbanken sind betroffen, ebenso wie die tatsächlichen Peer-Reviewer von echten Fachpublikationen, die mehr Paper kontrollieren müssen.

(emw)