OpenAI zieht KI-Detektor zurück
Mangels Treffsicherheit zieht GPT-Entwickler OpenAI seinen AI Classifier zurück. Das Programm sollte KI-erzeugte Texte erkennen. Das klappt nicht.
Wer hat's geschrieben?
(Bild: Daniel AJ Sokolov)
"Der AI Classifier ist nicht mehr verfügbar aufgrund seiner geringen Genauigkeit", gesteht OpenAI ein. Das Unternehmen entwickelt KI-Modelle wie Dall-E, GPT und das darauf beruhende ChatGPT. Der AI Classifier sollte bei Texten von über 1.000 Zeichen Länge erkennen, ob sie von einem Menschen oder einer Künstlichen Intelligenz (KI) geschrieben wurden. Insbesondere Schulen und Universitäten lechzen nach solch einem Erkennungswerkzeug.
Wie die Schwammerln sind KI-Erkennungsprogramme aus dem Boden geschossen. Allein, sie funktionieren mehr schlecht als recht. Schon zur Vorstellung des AI Classifiers vor einem halben Jahr hat OpenAI gewarnt, dass er nicht "komplett verlässlich" arbeitet. Eine Untertreibung: Bereits damals erkannte das Programm gerade einmal ein Viertel aller eingegebenen englischen KI-Texte als solche. Umgekehrt wurde jeder zehnte von einem Menschen geschrieben Text fälschlich bezichtigt, ein KI-Produkt zu sein.
OpenAI forscht weiter
Sofort war deutlich: Die automatische Erkennung von ChatGPT-Texten hat viele Schwächen. Daher sollte der AI Classifier ausdrücklich nie als primäre Entscheidungsgrundlage herangezogen worden. Allerdings, so OpenAI damals, sei das Werkzeug laufend in Arbeit. Es sollte mit der Zeit also besser werden.
Das ist offensichtlich nicht gelungen. Die Treffsicherheit ist heute so schlecht, dass OpenAI den AI Classifier still und leise offline genommen hat. Eine eigene Mitteilung dazu gibt es nicht; das Unternehmen hat lediglich seiner ursprünglichen Ankündigung einen Hinweis vorangestellt. "Wir erforschen derzeit effektivere Techniken zur Ursprungserkennung von Text", teilt OpenAI dabei mit. "Und wir haben uns dazu verpflichtet, Mechanismen zu entwickeln und bereitzustellen, die Anwendern in die Lage versetzen, ob hörbare oder visuelle Inhalte KI-erzeugt sind."
Don't hold your breath, sagt man dazu auf Englisch.
Übrigens: Demoversionen von Erkennungswerkzeugen speziell für Texte aus der Feder von GPT-2 sind noch online: Die GPT-2 Output Detector Demo sowie der Giant Language model Test Room. Aber wer arbeitet heute noch mit dem mehr als vier Jahre alten GPT-2?
(ds)
