Ranking für Plagiatserkennung-Software veröffentlicht

Software-Produkte zur Erkennung geklauter Formulierungen in Arbeiten, die Schüler und Studenten eigentlich selbstständig anfertigen sollten, halten nicht immer, was sie versprechen. Das ist das Ergebnis von Tests mit 14 Systemen, die die Expertin für Plagiatsfinder Debora Weber-Wulff, Professorin an der Fachhochschule für Technik und Wirtschaft (FHTW) Berlin von April bis September durchführte. Weber-Wulff, die Kurse zum Thema hält und unter dem Titel "Fremde Federn finden" für die Lehrenden auch eine eLearning-Einheit ins Netz gestellt hat, stellte am heutigen Donnerstag ihr neues Ranking der gängigsten Systeme zur Plagiatserkennung der Öffentlichkeit vor.

Danach kommt das niederländische System Ephorus auf die höchste Trefferquote und erreichte im Test 40 von 60 möglichen Punkten; als einziges der 14 Systeme erhielt es die Note Gut. Nach Ansicht von Weber-Wulff ist das Produkt durchaus brauchbar, um auf Plagiatsverdachte hinzuweisen. Nur knapp die Note Gut verfehlte mit 35 Punkten das deutsche System Docol©c, das, wie die Wissenschaftler hervorheben, auch in der Lage war, PDF-Dokumente als Abschreibquellen zu finden, womit andere Produkte oft Schwierigkeiten haben.

Am Ende der Tabelle – mit 0 von 60 möglichen Punkten – landete der kanadische Plagiatserkennungsdienst CatchItFirst. Er erkannte im Test kein einziges Plagiat, benötigte für die Suche allerdings bis zu 32 Stunden. Überraschend war auch das Abschneiden der vermeintlich effektivsten Plagiatserkennungssoftware Turnitin, die auch von etlichen deutschen Hochschulen eingesetzt wird. Sie landete mit 26 Punkten auf Platz 8 und erreichte damit lediglich das Testurteil Befriedigend. "Turnitin kann PDF-Files nicht gut erschließen, und aus irgendeinem Grund findet es die Wikipedia nicht", erläuterte die Expertin, die in der Gesellschaft für Informatik Sprecherin der Fachgruppe "Informatik und Ethik" ist.

Keines der Produkte schaffte es, mit mehr als 85 Prozent der Punkte in die Bewertung Sehr Gut zu gelangen. Für die Untersuchung hatten Weber-Wulff und ihr Mitarbeiter Martin Pomerenke kurze Aufsätze verfasst, bei denen sie verschiedene Plagiatstechniken anwandten. Dabei bedienten sie sich auch bei Büchern und CDs oder nahmen Übersetzungsplagiate, und integrierten Originalarbeiten, die frei von Plagiaten waren. Im Test bewertet wurden sowohl die Suchergebnisse als auch die benötigte Zeit.

Daneben untersuchte das Team auch zwei Produkte, die Programm-Code vergleichen und Ähnlichkeiten in Sammlungen von Quellcode-Dateien aufspüren. Als wenig praxistauglich – "nicht zweckmäßig" – schnitt dabei AntiCutandPaste ab. "Die Ergebnisse waren so schwer zu lesen", berichtete die Professorin, "das war selbst für Informatiker nicht verdaulich." Dagegen erreichte JPlag 30 von den in dieser Kategorie möglichen 45 Punkten und wurde mit Gut bewertet. Es lässt sich in Lehrveranstaltungen mit begrenzten Gruppen zum Vergleich von Hausarbeiten gut einsetzen, meint Weber-Wulff, beim Vergleich mit größeren Datenbanken melde das System jedoch schnell ein "out of memory".

"Es gibt keine Software, mit der man Plagiaten zweifelsfrei auf die Spur kommt", resümiert die Medieninformatikerin, die keinen Hehl daraus macht, dass man mit Software das Problem des Plagiierens nicht lösen könne. "Mir passt der Generalverdacht nicht, der dahintersteht", erklärte sie heute in Berlin; "das vergiftet das Klima zwischen Studierenden und Lehrenden." Das beste Mittel sei immer noch der geschulte Blick des Pädagogen, und "wenn man einen Verdacht hat, dann sollte man selbst eine Suchmaschine bemühen".

Die Ergebnisse ihrer Tests hat die Plagiatsforscherin den Herstellern der Produkte zwischenzeitlich zur Verfügung gestellt. Sie hatten der FHTW-Professorin die kostenlose Nutzung ermöglicht. Nicht alle Hersteller waren jedoch bereit, sich dem Vergleich zu stellen. So fehlte diesmal beispielsweise der PlagiarismFinder, der bei einem ersten Test vor drei Jahren noch am besten abgeschnitten hatte. (Richard Sietmann) / (jk)