Machine Learning: Microsoft, MITRE, IBM, Nvidia & Co erstellen Bedrohungsmatrix
Insgesamt 13 Organisationen haben eine Threat-Matrix für ML-Anwendungen erstellt, die sich an der ATT&CK-Matrix von MITRE orientiert.
- Rainald Menge-Sonnentag
Die Non-Profit-Organisation MITRE hat zusammen mit zwölf Firmen und Organisationen ein Framework vorgestellt, das Bedrohungsszenarien für Machine-Learning-Anwendungen beschreibt. Data Scientists, Softwareentwickler, Security Operation Center und Tester sollen damit Angriffsvektoren erkennen und ihre Systeme darauf vorbereiten.
Die Adversarial ML Threat Matrix orientiert sich am ATT&CK-Framework (Adversarial Tactics, Techniques & Common Knowledge) von MITRE, das Bedrohungen aus der Außensicht der Angreifer beschreibt. Das Wort "Adversarial" lässt sich mit gegnerisch oder besser feindlich übersetzen, da sich die ursprüngliche ATT&CK-Matrix an der Cyber Kill Chain des Rüstungskonzerns Lockheed Martin orientiert.
Andere Bedrohungsszenarien
Motivation für die ML-Bedrohungsmatrix sind die bekannt gewordenen Attacken auf Systeme von Firmen wie Google, Amazon, Microsoft und Tesla. Im Bereich der künstlichen Intelligenz nutzen Angreifer andere Methoden, als sie von klassischen Attacken auf Netzwerke, Software oder Cloud-Anwendungen bekannt sind. Unter anderem lässt sich die Mustererkennung für Straßenschilder durch subtile Änderungen so modifizieren, dass ein autonom fahrendes Auto ein komplett anderes Zeichen sieht als ein Mensch.
(Bild: "DARTS: Deceiving Autonomous Cars with Toxic Signs", arXiv.org)
Daneben gibt es Angriffe durch sogenanntes Data Poisoning, also vergiftete Daten, die dem ML-System beim Training fehlerhafte Informationen vermitteln. Angreifer können zudem beispielsweise durch das Einspielen eigener Samples und Vorlagen in das Training eines ML-Systems zum Erkennen von Netzwerkangriffen ihr Vorgehen bei Hacks als normales Verhalten unterschieben. Auch der Diebstahl von ML-Modellen gehört zu den zunehmend auftretenden Angriffen.
Sieben Säulen
Die Adversarial ML Threat Matrix ist in sieben Bereiche unterteilt, die den gesamten Lebenszyklus von der Erkundung (Reconnaissance) über die Execution bis zum Impact beschreiben. Neben den ML-spezifischen Angriffen finden sich herkömmliche Softwareattacken und Phishing in der Matrix.
Die vollständige Beschreibung der Matrix ist im GitHub-Repository von MITRE zu finden. Als Beitragende sind neben MITRE die Organisationen und Unternehmen Microsoft, Bosch, IBM, Nvidia, Airbus, PricewaterhouseCoopers, Deep Instinct, Two Six Labs, die University of Toronto, die Cardiff University, das Software Engineering Institute der Carnegie Mellon University und das Berryville Institute of Machine Learning aufgeführt.
Das Repository zeigt den derzeitigen Stand der Matrixentwicklung. Die Betreiber beschreiben die Matrix als ersten Versuch, eine Wissensbasis über mögliche Angriff auf ML-Systeme zu erstellen. Sie rufen zur Mitarbeit auf, um die offenen Lücken zu füllen, damit letztlich eine ganzheitliches Konzept entsteht. Wer Änderungen vorschlagen möchte, soll dafür einen Pull Request einreichen. Für Anfang 2021 ist zudem ein Workshop zur weiteren Ausgestaltung geplant, der Online über Discord laufen wird.
(rme)
