KI-Update: ChatGPT-Texte erkennen
Woran lassen sich von ChatGPT und Co erstellte Texte erkennen und warum ist das so verdammt schwierig?
Wer sich in den letzten Monaten mit einer Lehrkraft über ihren Beruf unterhalten hat, hat sicherlich auch davon gehört, dass ChatGPT die Arbeit erschwert: Das Tool, das auf Knopfdruck einen Aufsatz oder auch Stichpunkte für eine Examensarbeit ausspuckt. Das Problem dabei ist, dass die KI in ChatGPT nicht immer weiß, wovon sie da redet. Während so ein Large Language Model manche Fragen recht gut beantworten kann, reimt es sich auf andere ziemlichen Unsinn zusammen, der aber durchaus plausibel und glaubwürdig klingt.
In der neuesten Ausgabe des KI-Update Deep-Dives spreche ich mit meinem Kollegen Wolfgang Stieler von der MIT Technology Review darüber, woran man von ChatGPT und Co erstellte Texte erkennen kann und warum das so verdammt schwierig ist.
Empfohlener redaktioneller Inhalt
Mit Ihrer Zustimmmung wird hier ein externer Podcast (Podigee GmbH) geladen.
Ich bin damit einverstanden, dass mir externe Inhalte angezeigt werden. Damit können personenbezogene Daten an Drittplattformen (Podigee GmbH) übermittelt werden. Mehr dazu in unserer Datenschutzerklärung.
Die mögliche massenhafte Verbreitung von maschinell erzeugtem Unfug besorgt anscheinend mittlerweile sogar die Hersteller der Sprachmodelle. Erstaunlich schnell veröffentlichte deshalb OpenAI ein eigenes Tool zur Erkennung von ChatGPT-Texten, den AI Text Classifier, nachdem zuvor Tools wie gptzero oder Originality.ai für viel Aufsehen gesorgt hatten.
Die Tools haben unterschiedliche Zielgruppen, erklärt Wolfgang Stieler: GPTzero zielt eher auf Schüler und Studis, die testen wollen, ob ein von der Maschine erzeugter Text als Betrug auffliegt. Bei anderen Detektoren geht es eher darum, Fake Paper zu erkennen oder nur als hochwertig getesteten Output für das Marketing zu verwenden – was als maschinell erkannt wird, gilt als minderwertig.
Kürzlich haben Forschende der University of Kansas einen Algorithmus entwickelt, der mit 99 Prozent Genauigkeit erkennen soll, ob ein wissenschaftlicher Text von einer KI geschrieben worden ist. Sie schreiben: "Menschen neigen dazu, einen umfangreicheren Wortschatz zu verwenden, längere Absätze mit vielfältigeren Wörtern zu schreiben und Satzzeichen wie Fragezeichen, Klammern und Semikolons häufiger zu verwenden als ChatGPT. Darüber hinaus verwenden Menschen eine spezifischere Sprache, indem sie Zahlen und andere Forschende beim Namen nennen, während KI-generierte Arbeiten weniger präzise Informationen enthalten. Darüber hinaus verwenden echte wissenschaftliche Arbeiten oft eine mehrdeutige Sprache mit Ausdrücken wie "dennoch", "aber" und "obwohl" sowie Demonstrativpronomen wie "dies" und "weil"."
Dieses Tool scheint für die Biologen in Kansas, die es entwickelt haben, gut zu funktionieren. Allerdings sei dies nur in einem ganz bestimmten und sehr begrenzten Rahmen möglich, nämlich in Bezug auf bestimmte wissenschaftliche Arbeiten, die auf Englisch verfasst sind, betont Wolfgang Stieler.
Im Zuge unseres Gesprächs erklärt mir mein Kollege verschiedene Möglichkeiten, wie sich Texte überprüfen lassen können. Insgesamt rät Wolfgang Stieler jedem, etwas weniger Respekt vor diesen Sprachmodellen zu haben: "Wenn mir jemand sagt, der Papst sei gestorben, glaube ich das ja auch nicht unbedingt sofort, sondern prüfe das in der Regel durch einen Blick auf Nachrichtenseiten im Internet. Warum sollte ich also einer Software alles glauben, was sie mir sagt." Nachfragen, herausfordern und Quellen überprüfen: Sprachmodelle können uns zwar einiges an Arbeit abnehmen, aber wir sollten uns dabei nicht zu sehr auf ihre künstliche Intelligenz verlassen.
Mehr zum Thema Künstliche Intelligenz und wie sie unseren Alltag verändert, lesen Sie auch in der aktuellen Ausgabe der MIT Technology Review. (igr)
