OWASP Top 10 für KI: Das sind die größten Risiken

Das Non-Profit-Projekt OWASP (Open Worldwide Application Security Project) hat neben den Top-10-Schwachstellen von Web-Applikationen nun auch eine Top 10 für große Sprachmodelle (LLMs, Large Language Models) veröffentlicht. In Zusammenarbeit mit etwa 500 Experten aus aller Welt hat das Projekt in einem mehrmonatigen Verfahren die wichtigsten Schwachstellen der KI-Modelle zusammengetragen, die die Welt seit dem Release von ChatGPT Ende 2022 nicht mehr in Ruhe lassen.

Potenzielle Sicherheitsrisiken

Die Top-10-Liste des OWASP enthält die folgenden Punkte:

• LLM01: Prompt-Injektion
• LLM02: Unsicheres Behandeln der Ausgabe
• LLM03: Das Vergiften von Trainingsdaten
• LLM04: Modell Denial of Service
• LLM05: Schwachstellen in der Software-Lieferkette
• LLM06: Offenlegen sensibler Informationen
• LLM07: Unsicheres Plugin-Design
• LLM08: Übermäßige Berechtigungen
• LLM09: Übermäßiges Vertrauen
• LLM10: Modell-Diebstahl

Von den zehn Punkten finden sich mögliche Schwachstellen in der Software-Lieferkette (LLM05) und unsichere Plugins (LLM07) auch außerhalb der KI-Domäne. LLM02 ist bei Sprachmodellen besonders gravierend, da die Systeme zu Halluzinationen genannten Fehlern neigen, aber durch ihre Bauweise auf die Nutzer besonders überzeugend wirken (LLM09). Hier verstärkt die Technik das Problem Nutzer. Das wiederum zeigt sich auch bei LLM06, wenn sensible Daten als Prompts verwendet werden, die dann aber in den Trainingsdaten des Modellbetreibers landen und theoretisch wieder ausgegeben werden können. Das Kopieren und damit Stehlen von ganzen Modellen beschreibt LLM10, wobei einem Unternehmen wirtschaftliche Verluste entstehen können.

Besonders für KI ist dabei noch das Vergiften der Trainingsdaten (Data Poisoning, LLM03), wobei Angreifer versuchen, Ergebnisse und Output von Modellen von Grund auf zu verfälschen. Hierbei spielt wieder die Glaubwürdigkeit der Modelle eine Rolle, aber auch zu viele Berechtigungen eines Chatbots (LLM08) können bei fehlerhaften oder manipulierten Ergebnissen zu unvorhergesehenen Konsequenzen führen. Model Denial of Service (LLM04) füttern Angreifer die Modelle mit ressourcenhungrigen Operationen, um das System so lahmzulegen oder übermäßige Kosten zu erzeugen.

Die OWASP Top 10 für LLMs bietet dabei neben den Schwachstellen auch eine Handhabe zum Ausbügeln der Probleme. Dabei sollten Entwickler das Ganze jedoch nicht einfach wie eine Checkliste abarbeiten. Neben Web-Applikationen und KI gibt es die Top 10 auch für API-Sicherheit.

Akute Probleme

Dass die Gefahren drastisch sind, zeigt sich besonders am oft spielerisch eingesetzten Jailbreaken der Chatbots. Nutzer geben sich etwa als Admins aus und gelangen dadurch an interne Dokumente, die in die Sprach-KI integriert sind. Auch das automatisierte Aushebeln von Sperren für bestimmten Output zu sensiblen Themen oder illegalen Machenschaften lässt sich mittels Prompt-Injektion bewerkstelligen. Dass Menschen oft sensible Daten in die Chatbots eingeben, beweist der Aufruf von Google an seine Entwickler, keinen Quellcode mehr in den hauseigenen Chatbot Bard zu stecken und die Ergebnisse eines solchen Debuggings nicht zu verwenden.

Ausführliche Informationen zur OWASP Top 10 for Large Language Model Applications und die Listen mit Schwachstellen und Maßnahmen finden sich auf der Webseite des Projekts.

(pst)