Mehr Sicherheit für LLM-Apps

Inhaltsverzeichnis

Viele Menschen haben großes Vertrauen in KI-Applikationen. Sie verwenden KI-Browser zum alltäglichen Surfen, ohne dass ihnen bekannt ist, was mit ihren Daten genau passiert. Chatbots werden eingesetzt, um ärztliche Diagnosen in verständliche Sprache zu übersetzen. In beiden Fällen geben Benutzer hochsensible Daten in fremde Hände. Diese Daten können Betreiber der Applikationen für die weitere Nutzung speichern oder für das Training der nächsten Generation von Sprachmodellen verwenden. Durch diesen Vertrauensvorschuss der Benutzer werden KI-Applikationen zunehmend zum Ziel für Angriffe, um Daten zu erbeuten oder anderweitig Schaden anzurichten.

Aus diesem Grund hat sich die OWASP Foundation mit den wichtigsten Sicherheitsrisiken für KI-Applikationen beschäftigt und ihre – aus anderen Bereichen der IT bekannte – Top-Ten-Liste für LLM und generative KI veröffentlicht. Eine LLM-Applikation bietet verschiedene Angriffspunkte auf unterschiedlichen Ebenen. Sie reichen von der Auswahl der Daten und dem Training der Modelle über die Interaktion mit dem Modell bis hin zur Integration von Modellen in Applikationen. Durch den stochastischen Charakter der generativen KI sind die Sicherheitsrisiken deutlich schwieriger zu identifizieren und abzusichern als bei gewöhnlichen, deterministisch reagierenden Applikationen.

iX-tract

• LLM-Anwendungen besitzen verschiedene Angriffspunkte und sind schwieriger zu sichern als statische Apps.
• Die OWASP Foundation listet Sicherheitsrisiken für LLM und generative KI in einer Top Ten auf.
• Neben der bekannten Prompt Injection gefährden unter anderem Sensitive Information Disclosure oder neuartige Denial-of-Service-Angriffe die Sicherheitsziele.
• Geeignete Gegenmaßnahmen sind unter anderem, die Abfragen auf verdächtige Muster zu überprüfen, die Inhalte zu bereinigen und die Berechtigungen von KI-Agenten einzuschränken.

Mehr zu Large Language Models

• Mehr Sicherheit für LLM-Apps
• Framework SGLang für schnelle LLM-Inferenz kurz vorgestellt
• Machine-Learning-Dienste der Hyperscaler
• GPT-5 im Agenten-Test
• KI-Sprachmodell Kimi K2: Was der chinesische DeepSeek-Konkurrent leistet
• MCP: So erledigen KI-Sprachmodelle Ihre Aufgaben
• KI versus Gehirn: Wie gut künstliche Intelligenz menschliches Denken nachahmt
• Strukturierte Daten für LLMs mit Wissensgraphen

Für das Training eines Modells sind große Datenmengen und viele Ressourcen erforderlich, sodass die meisten Entwickler von KI-Applikationen kaum direkt mit dem Training zu tun haben. Anders verhält es sich bei den übrigen Risikogebieten. Hier können die Entwickler sehr viel für die Sicherheit tun. Der Artikel stellt die wichtigsten Angriffsvektoren mit praktischen Beispielen und konkreten Gegenmaßnahmen vor.

Das war die Leseprobe unseres heise-Plus-Artikels "Mehr Sicherheit für LLM-Apps". Mit einem heise-Plus-Abo können Sie den ganzen Artikel lesen.