Promptware: Wie weit Malware für KI-Systeme schon ist

Inhaltsverzeichnis

Der KI-Boom hält unvermindert an, immer mehr Software bekommt KI-Funktionen verpasst und KI-Agenten werden immer öfter an Systeme angebunden. In aller Regel basieren diese künstlichen Intelligenzen auf großen Sprachmodellen (Large Language Models, LLM) und sind damit anfällig für allerlei Probleme.

Beispielsweise neigen große Sprachmodelle dazu, sich beim Nutzer einzuschleimen, und sie halluzinieren mitunter Fakten und Quellen, die es schlicht nicht gibt. Hinzu kommt, dass sie aktiv angegriffen werden können. Letzteres ist ein Problem, das häufig mit dem Begriff „Prompt-Injection“ versehen wird.

c’t kompakt

• Per Prompt-Injection infizieren Angreifer KI-Systeme über geschickt eingeschleuste und speziell konstruierte Anweisungen.
• Mit den zunehmenden Fähigkeiten der Systeme wachsen sowohl deren Angriffsfläche als auch die Komplexität und Bedrohlichkeit der Angriffe.
• Sicherheitsforscher sehen hier eine neue Art von Malware heranwachsen: Promptware.

Mehr zu Malware-Analyse, Schwachstellen und Cybersicherheit

• Promptware: Wie weit Malware für KI-Systeme schon ist
• Aktive Cyberabwehr: Neue Befugnisse mit alten Problemen
• Sicherheitslücken mit SAST-Tools früh erkennen
• Mit Reverse Engineering API-Aufrufe und Shellcode von Malware analysieren
• Mit Reverse Engineering Packer und API-Hooking verstehen
• Gezielt gegen Sicherheitsbedrohungen verteidigen mit Threat-informed Defense
• Cyberangriffe ohne Malware: Living off the Land
• Malware-Analysetool: Schadpotenzial von Daten mit Qu1cksc0pe ermitteln
• Schwachstellenanalyse: Wie man Zero-Day-Exploits findet – ein Beispiel

Allerdings bezeichnet „Prompt-Injection“ nur den ersten Schritt, den Angriffe auf LLMs in der Regel gehen. Bösartige Anweisungen an Sprachmodelle sind inzwischen umfangreiche und oft aufwendige Konstruktionen. Sie erlauben einem Angreifer etwa, das betroffene System zu erkunden, können ihm Persistenz im Netzwerk des Opfers verschaffen oder eine Fernsteuerung des unterwanderten LLMs ermöglichen.

Das war die Leseprobe unseres heise-Plus-Artikels "Promptware: Wie weit Malware für KI-Systeme schon ist". Mit einem heise-Plus-Abo können Sie den ganzen Artikel lesen.