Utah: Prüfer finden keine KI bei KI-Überwachungsfirma Banjo
Der US-Bundesstaat stellte eine von ihm beschaffte Software für Predictive Policing des "KI-Startups" Banjo auf den Prüfstand und erlebt eine Überraschung.
(Bild: Haris Mm/Shutterstock.com)
Die Anwendung "Live Time Intelligence" der umstrittenen US-Firma Banjo, die nach Angaben des Unternehmens mithilfe von Künstlicher Intelligenz (KI) Aufklärungsinformationen in Echtzeit produzieren und so eine "vorausschauende Polizeiarbeit" (Predictive Policing) erlauben sollte, enthält gar keine Spur von KI. In einem staatlichen Prüfbericht heißt es: "Banjo verwendet keine Techniken, die der Branchendefinition von Künstlicher Intelligenz entsprechen."
Automatische Erkennung von Verbrechen versprochen
Die Big-Data-Firma sorgte voriges Jahr für Schlagzeilen, als bekannt wurde, dass der US-Bundesstaat Utah mit ihr einen 20,7 Millionen US-Dollar schweren Vertrag abgeschlossen hatte. Städte und Gemeinde sollten dem Startup demnach Zugang zu Videoaufnahmen aus staatlichen Überwachungskameras, Notrufsystemen, Bewegungsdaten von Fahrzeugen der öffentlichen Hand sowie anderen sensiblen Informationen geben. Banjo versprach im Gegenzug, vorab Anzeichen für brenzlige Szenarien wie Kindesentführungen, Terrorismus, Schießereien oder organisierte Verbrechen rund um Drogenhandel erkennen und Alarm schlagen zu wollen.
Im Mai sickerte durch, dass der Firmenmitgründer Damien Patton als Jugendlicher dem Ku-Klux-Klan angehört hatte und an einem Attentat mit Schüssen auf eine Synagoge in Nashville beteiligt war. Utahs Justizminister und Generalstaatsanwalt Sean Reyes stoppte den Vertrag daraufhin. Der Republikaner ordnete an, dass eine unabhängige Stelle die vermeintliche KI-Software auf mögliche Voreingenommenheit und Datenschutzverstöße überprüfen solle.
Der beauftragte staatliche Rechnungsprüfer John Dougall hat seinen Bericht, den er zusammen mit einer extra eingerichteten Kommission zum Schutz der Privatsphäre und vor Diskriminierung erstellte, vorige Woche veröffentlicht. Demnach konnten die Kontrolleure keine Vorurteile in dem System entdecken, da dieses keinen Algorithmus einsetzte, der mit entsprechend belasteten Trainingsdaten hätte gefüttert werden können.
Versprochene Funktionen fehlen
Auch sonst handelte es sich bei dem Programm in vielen Punkten um Vaporware, die versprochene Funktionalitäten gar nicht enthielt. "Banjo gab an, dass sie eine Vereinbarung hatten, Daten von Twitter zu sammeln", schreibt Dougall in dem Bericht an seinen Parteikollegen Reyes. "Aber es gab keine Hinweise darauf, dass Twitter-Daten in Live Time integriert wurden." Einem Bericht zufolge sollen Ex-Banjo-Mitarbeiter mit der Firma Pink Unicorn Labs einen Ableger gegründet haben, mit dem sie über eine Reihe von unauffällig aussehenden Tracking-Apps heimlich Daten von sozialen Netzwerken sammelten.
Das von Banjo angepriesene Beispiel, bei dem das System bei der Reaktion auf eine simulierte Kindesentführung half, habe das Justizministerium nicht validiert, sondern einfach akzeptiert, kritisiert Dougall. Das Ergebnis habe wohl eine geschickter menschlicher Datenanalyst geliefert, "da Live Time die beworbene KI-Technologie fehlte".
Offensichtlich seien bei der Konfiguration der Software zudem "bestimmte wichtige Sicherheitsmerkmale" missachtet worden, halten die Prüfer fest. Banjos Ansatz "entsprach nicht den bewährten Verfahren". Ein erhebliches Risiko habe darin bestanden, dass Live Time direkte Datenbankabfragen bei Behörden vornehmen konnte. Theoretisch hätte Banjo so ohne Wissen etwa der Notrufzentrale unbefugt auf andere sensible persönliche Informationen zugreifen können. Einige Ämter stellten laut dem Bericht ferner mehr Daten zur Verfügung, als nötig gewesen wäre.
Versprechungen nicht einfach glauben
Dougall und die Kommission haben dem Bericht eine lange Liste an Empfehlungen für die Beschaffung von Software beigelegt. Darin legen sie staatlichen Stellen etwa nahe, technologischen Behauptungen auf den Zahn zu fühlen und die angekündigten Fähigkeiten zu testen. Viele Anbieter versprächen, dass die "Magie" von KI und Maschinenlernen komplexe Probleme lösen werde. Diese Technologien seien aber "gerade erst im Entstehen und in der Regel sind nur Spezialisten mit den Details vertraut". Gleichzeitig sei die Missbrauchsgefahr groß. Behörden müssten bei Big Data zudem Gefahr von Deanonymisierung im Blick behalten.
Justizminister Reyes fühlt sich durch die Resultate bestätigt, dass Live Time "weder in die Privatsphäre eingreift noch rassistische oder religiöse Vorurteile hat". Sensible persönliche Daten seien mit Banjo während des Teststadiums nicht geteilt worden. Man sei sich im Klaren darüber gewesen, dass weitere Datenschutzvorkehrungen hätten getroffen werden müsse, um das Potenzial des Systems voll auszuschöpfen. Der Republikaner hielt ferner an der Auffassung fest, dass "die schrecklichen Fehler aus der Jugend des Gründers nie in irgendeiner Weise auf Banjo" ausgestrahlt hätten. Die Firma hat inzwischen einen neuen Geschäftsführer und Namen (SafeXai), bei dem KI ("Artifical Intelligence – AI") direkt mitschwingt.
(mho)
