"Passwort" Folge 7: Prompt Injections
Im Podcast von heise security geht es diesmal um Prompt Injections, also Angriffe auf Systeme mit KI-Unterbau – gegen die es keinen vollständigen Schutz gibt.
In der siebten Folge von Passwort, dem Podcast von heise security, besprechen die Hosts Christopher und Sylvester sogenannte Prompt Injections. Das sind Angriffe, mit denen Software unterwandert werden kann, die auf Sprach-KIs wie (Chat)GPT aufsetzt. Prompt Injections sind ein Analogon zur Remote Code Execution aus der klassischen IT-Sicherheit: Bei Erfolg übernimmt der Angreifer die Kontrolle über die zugrundeliegende Sprach-KI und kann über alles verfügen, worauf diese Sprach-KI Zugriff hat.
Mit so einer Attacke können Angreifer daher einem KI-System einen neuen (geheimen) Auftrag verpassen oder eine neue (bösartige) Identität beibringen, um den Nutzer ins Messer laufen zu lassen. Sie können außerdem Tools und APIs aufrufen, auf die das System Zugriff hat. Über verschiedene Wege lassen sich auch Daten exfiltrieren, entweder indem man den Nutzer zur Kooperation überredet oder weil die angegriffene Software zu freizügig mit Links und externen Ressourcen im KI-Output umgeht. Letzteres ist leider eher die Regel als die Ausnahme.
Empfohlener redaktioneller Inhalt
Mit Ihrer Zustimmmung wird hier ein externer Podcast (Podigee GmbH) geladen.
Ich bin damit einverstanden, dass mir externe Inhalte angezeigt werden. Damit können personenbezogene Daten an Drittplattformen (Podigee GmbH) übermittelt werden. Mehr dazu in unserer Datenschutzerklärung.
Chistopher und Sylvester erörtern, wieso Sprach-KIs überhaupt für Prompt Injections anfällig sind und wieso man die Angriffe nicht einfach durch ordentliche Validierung von Eingabedaten wegfiltern kann. Prompt Injections zu erkennen fällt dabei nicht nur automatisierten Systemen schwer: Mit diversen Tricks kann man auch vor Nutzern verbergen, dass sie mit infizieren Daten hantieren, die eine Prompt Injection enthalten.
Die beiden Hosts sehen sich auch andere mögliche Gegenmaßnahmen an, von denen aber – soviel sei verraten – keine zu 100 Prozent wirkt. In der Praxis ist, wie so oft, alles noch viel schlimmer, weil viele Unternehmen nicht einmal die bekannten Gegenmaßnahmen einsetzen. Im Rausch des KI-Hypes bleibt für IT-Security-Bedenken wohl kaum Zeit. Immerhin rückt das Thema langsam in den Fokus, sodass beispielsweise Bugbounties auch für Prompt-Injection-Angriffe ausgezahlt werden.
Die neue Folge von "Passwort – der heise security Podcast" steht seit dem heutigen Mittwoch zum Download auf allen Podcast-Plattformen bereit.
(syt)
