Sicherheit: Schutz vor Data Poisoning und anderen Angriffen auf KI-Systeme

Fehlerhafte Daten können Machine-Learning-Systeme zu folgenreichen Irrtümern verleiten. Ein Praxisbeispiel zeigt, wie so etwas verhindert werden soll.

Artikel verschenken
In Pocket speichern vorlesen Druckansicht 1 Kommentar lesen
Lesezeit: 11 Min.
Von
  • Mirko Ross
Inhaltsverzeichnis

Sicherheit zuerst – dieses Prinzip sollte immer dort gelten, wo Machine-Learning-Systeme Entscheidungen treffen, die das Wohl und die körperliche Unversehrtheit von Menschen beeinflussen können. Das betrifft das Paradebeispiel autonomes Fahren ebenso wie diverse weniger spektakuläre Anwendungsfelder, etwa die Lebensmittelüberwachung. Hier kann maschinelles Lernen dazu dienen, die Haltbarkeit von Produkten recht exakt vorherzusagen und das grobe System des aufgedruckten Mindesthaltbarkeitsdatums in Rente zu schicken.

Stattdessen kann ein digitaler Zwilling die tatsächliche Keimbelastung eines Produkts über die gesamte Lieferkette prognostizieren, bis hin zum Verkauf und zur Lagerung im heimischen Kühlschrank. KI trägt also dazu bei, dass weniger Lebensmittel vorzeitig im Müllcontainer landen. Doch irrt die KI, können Verbraucher im schlimmsten Fall eine ernsthafte Lebensmittelvergiftung erleiden. Ursachen für solche Irrtümer können Fehler im Design und Training des Systems sein, aber auch böswillige Manipulation.

Mehr zum Thema Machine Learning

Für ein solches System, das derzeit in der praktischen Erprobungsphase ist, hat ein Konsortium unter Führung des Karlsruher Instituts für Technologie (KIT) im Forschungsprojekt Poison Ivy die Sicherheit untersucht, Angriffspunkte für Manipulationen ausgemacht und Empfehlungen zur Risikominimierung erarbeitet. Die Erkenntnisse aus diesem Beispiel lassen sich auch auf andere Anwendungssysteme mit künstlicher Intelligenz übertragen, das autonome Fahren etwa oder digitale Zwillinge in der Industrie. Denn trotz unterschiedlicher Anwendungsgebiete ist die Systemarchitektur der Anwendungen oft ähnlich.