Google und Greynoise melden Erfolge bei KI-gestützter Schwachstellensuche

Dass Kriminelle sich der künstlichen Intelligenz bedienen, um Malware oder geschliffenere Texte für Social-Engineering-Angriffe zu erstellen, ist hinlänglich bekannt. Nun haben unabhängig zwei Unternehmen, Google und Greynoise, Erfolge auf der anderen Seite gemeldet: Sie haben Sicherheitslücken mit KI aufgespürt.

Google schreibt in einem Blog-Beitrag, dass die Entwickler an einem Projekt namens Naptime gearbeitet und dabei evaluiert haben, ob sie Large Language Models (LLM) für offensive Sicherheit einsetzen können. Der inzwischen im Nachfolgeprojekt daraus resultierende "Big Sleep Agent" hat nun einen von Angreifern missbrauchbaren Puffer-Unterlauf in der weit verbreiteten, quelloffenen SQLite-Datenbank-Engine entdeckt. Die Zero-Day-Lücke konnte dadurch gemeldet und von den Entwicklern geschlossen werden, bevor sie in einem offiziellen Release öffentlich wurde, und so zum Schutz von Nutzerinnen und Nutzern beitragen. Das sei das erste öffentliche Beispiel einer KI, die einen zuvor unbekannten ausnutzbaren Speicher-Sicherheitsfehler in einer oft genutzten Real-World-Software entdeckt habe, glauben Googles Autoren.

KI-gestützte Vorauswahl

Das IT-Sicherheitsunternehmen Greynoise nutzt ein KI-gestütztes System namens Sift, um täglich rund zwei Millionen HTTP-Ereignisse auf etwa 50 einzudampfen, auf die IT-Analysten einen konkreten Blick werfen sollten. Das System hat aus dem Rauschen Malware herausgefischt, mit der ausführbare Skripte auf Servern (/cgi-bin/param.cgi) angegriffen wurden.

Bei der Untersuchung dieser von KI herausgefilterten Ereignisses haben sich veritable, offenbar bereits angegriffene Zero-Day-Sicherheitslücken in recht hochpreisigen Pan-Tilt-Zoom-Kameras (PTZ) des OEM-Herstellers ValueHD Corporation (VHD) gefunden, die mit Netzwerkschnittstellen ausgestattet sind; die Geräte sind etwa unter dem Namen PTZOptics PT30X-SDI/NDI im Umlauf. Das mündete in zwei CVE-Einträgen, CVE-2024-8957 mit CVSS 9.8 als kritisches Risiko bewertet, sowie CVE-2024-8956, CVSS 9.1, ebenfalls kritisch. Am Montag dieser Woche hat die US-amerikanische IT-Sicherheitsbehörde CISA die beiden Lücken folgerichtig in den Katalog der Known-Exploited-Vulnerabilities aufgenommen.

Unterschiedliche Ansätze

Während Greynoise mit KI-LLMs Ereignisse vorfiltert und damit eine Anomalieerkennung umsetzt, hat Google eine KI-gestützte Quellcode-Analyse entwickelt, die weit über das hinausgeht, was zuvor mit Fuzzing – also dem Füttern des Codes mit vielen, teils unsinnigen Werten – erreichbar war. Die KI ist Google zufolge noch im Forschungsstadium. Sie setzt auf Erkenntnisse, die auf Exploits für Varianten von zuvor bereits erkannten und gepatchten Schwachstellen basieren. Diese Variantenanalyse passe besser zu derzeitigen LLMs als eine komplett offene Schwachstellensuche. Durch das Angeben eines Startpunktes entfernen die IT-Forscher Mehrdeutigkeiten aus der Schwachstellensuche. Die Suche starte somit von einem konkreten und wohldefinierten Ausgangspunkt: "Dies war der vorherige Bug. Da ist wahrscheinlich ein anderer gleichartiger irgendwo", schreibt Google.

Noch nutze man kleine Programme mit bekannten Schwachstellen, um den Prozess zu bewerten. Anhand von SQLite habe man die Modelle und Tools in einem Real-World-Szenario testen wollen. Dabei kam eine Anzahl an jüngeren Quellcode-Commits in das SQLite-Repository zum Einsatz, bei denen die Projektbeteiligten Dokumentationen und triviale Änderungen entfernten. Den KI-Prompt passten sie an, sodass der den Big-Sleep-Agent mit der Commit-Nachricht und einem Diff der Änderungen fütterte. Den Agent befragten sie, das derzeitige Repository im HEAD-Branch nach ähnlichen Problemen zu durchsuchen, die nicht gefixt wurden. Der Agent nutzte dafür Googles Gemini 1.5 Pro-KI. Interessierte finden im Blog-Beitrag noch tiefergehende Details.

Lesen Sie auch

BSI: KI ermöglicht "nie dagewesene Qualität" für Phishing-Angriffe

Ende April hatte das Bundesamt für Sicherheit in der Informationstechnik vor Sicherheitsbedrohungen durch Künstliche Intelligenz gewarnt. KI werde von bösartigen Akteuren insbesondere für Social Engineering und Generierung von bösartigem Code genutzt, erklärte die deutsche IT-Sicherheitsbehörde. Nun zieht die Nutzung von Large Language Models auch bei der Gegenseite ein, um Angriffe und Schwachstellen zu erkennen und für mehr Sicherheit zu sorgen.

(dmk)