Trügerisch: Die automatische Erkennung von ChatGPT-Texten hat viele Schwächen

Seite 2: Drei große Einschränkungen der Erkennungs-Tools

Grenzen und Schwächen

Darüber hinaus gibt es noch weitere Tools, die behaupten, maschinell erzeugte Texte zu erkennen. Viele dieser Tools sind allerdings nicht oder nur schlecht dokumentiert. Meist gibt es nur anekdotische Belege für ihre Wirksamkeit – das gilt übrigens auch für den ChatGPT-Detektor von OpenAI selbst – es gibt weder ein Paper noch den Quellcode. Vermutlich arbeitet das Tool mit Wahrscheinlichkeitsberechnung, das ist aber spekuliert.

Auch Tools wie Content at Scale, Writer AI Content Detector oder Originality.ai funktionieren möglicherweise, verlässlich sagen kann man das aufgrund der dürftigen Informationen über diese Software aber nicht.

Grundsätzlich gibt es allerdings sowieso drei sehr große Einschränkungen:

Man braucht direkten Zugriff auf das zugehörige Sprachmodell, damit die Detektoren verlässliche Ergebnisse liefern. Für ChatGPT gibt es im Moment aber noch keine API.
Alle Methoden sind mehr oder weniger stark angreifbar durch simple Umformulierungen.
Ein negatives Ergebnis bedeutet nur, dass der Detektor keine Hinweise auf maschinelle Erzeugung gefunden hat. Nicht mehr und nicht weniger.

Was hilft immer?

Man kann es allerdings auch mit gesundem Menschenverstand versuchen. Jeder Text – egal ob von Mensch oder Maschine – sollte einem Plausibilitäts-Check standhalten: Stimmen allgemein bekannte Tatsachen nicht? Gibt es logische Fehler in der Argumentation? Die beiden KI-Forscher Gary Marcus und Ernest Davies, beide ausgesprochen scharfe Kritiker des Hypes um große Sprachmodelle, haben eine Liste mit Fehlern von ChatGPT angelegt, die ständig erweitert wird. Tauchen solche Fehler auf, sind das starke Indizien für ChatGPT als Autor.

Und schließlich: Existieren Links, oder zeigen URLs ins Leere? Schon GPT-2 war bekannt dafür, URLs zu erfinden, die echt aussahen, aber ins Nirvana liefen. ChatGPT hat diese Fähigkeit verfeinert: Im Rahmen der Recherche lieferte diese Software mir beispielsweise eine Liste von Veröffentlichungen zur Erkennung maschineller Texte. Die automatisierte Überprüfung von Stilelementen schien mir besonders spannend – darauf war ich bisher in meiner – klassischen – Recherche nicht gestoßen: "Writing Pattern Analysis for Detection of Automated Text" (Wang et al., 2018) – sagt ChatGPT. Aber dieses Paper ist nicht zu finden. Es existiert nicht.