EU-Cyberagentur nutzt heimlich KI für Berichte – und fliegt auf
Verantwortliche der EU-Cybersicherheitsagentur Enisa räumen ein, dass zwei ihrer Berichte zahlreiche halluzinierte Quellen enthielten.
Die Buchstaben AI umfliegen Haken und Warndreiecke.
(Bild: tadamichi/Shutterstock.com)
Zwei Berichte der EU-Cybersicherheitsagentur Enisa haben für Aufsehen gesorgt: Die Dokumente waren gespickt mit zahlreichen erfundenen Quellen. Wissenschaftler prüften das genauer – und fanden starke Anhaltspunkte dafür, dass die falschen Quellen von einer KI halluziniert wurden.
Betroffen sind zwei im vergangenen Oktober beziehungsweise November erschienenen Berichte der Agentur. Als Forscher von der Westfälischen Hochschule die Publikationen lasen, wurden sie stutzig. Zum einen klangen viele Textpassagen für sie unschlüssig. Als sie auf die angegebenen Links zu zitierten Quellen klickten, funktionierten diese überhaupt nicht. Und das im großen Stil: 26 von 492 Fußnoten sollen dem Spiegel-Magazin zufolge in einem der Berichte falsch gewesen sein.
„Man hätte nur einmal draufklicken müssen“
Nun kann ein Link aus vielerlei Gründen nicht funktionieren, etwa weil die Struktur der Webseite, auf die er verweist, sich verändert hat. Auffällig an den falschen Links waren aber LLM-typische Fehler. So enthielt ein Link auf eine Microsoft-Seite über die russische Hackergruppe APT29 auch diesen Namen – Microsoft selbst bezeichnet die Gruppe aber als Midnight Blizzard.
„Mich stört maßgeblich, dass eine öffentliche Behörde, die in meinen Augen die sehr wichtige Aufgabe hat, verlässliche, nachvollziehbare Berichte herauszugeben, das in diesem Fall nicht getan hat“, kritisiert Christian Dietrich, einer der Forscher und Professor an der Westfälischen Hochschule. „Man hätte nur einmal draufklicken müssen.“
Videos by heise
Enisa spricht von „menschlichen Fehlern“
Enisa, welche über ein jährliches Budget von rund 27 Millionen Euro verfügt, räumte die Fehler auf Anfrage des Spiegel-Magazins ein, spricht von „Mängeln“, für die man Verantwortung übernehme. Es sei zu „menschlichen Fehlern“ gekommen und man habe die KI „kleinere redaktionelle Überarbeitungen“ vornehmen lassen.
Auch vom Chaos Computer Club gibt es Kritik. Sprecher Linus Neumann nannte den Vorgang „blamabel“. „Enisa soll die zentrale Anlaufstelle für unabhängige Expertise, Richtlinien und Standards in Europa sein“, zitiert der Spiegel Neumann. „Wenn dann schon in den sehr oberflächlichen Bedrohungsberichten derart unsauber gearbeitet wird, wirft das ein sehr schlechtes Licht auf die Institution“.
(nen)
