Gaggle: Echtzeitüberwachung von US-Schülern mit Künstlicher Intelligenz
Der Dienstleister Gaggle überwacht die digitale Arbeit und Kommunikation von rund fünf Millionen Schülern in den USA im Kampf gegen Selbstmorde und Amokläufe.
(Bild: pixabay.com)
Schießereien, Massaker und Selbstmorde an US-Schulen erhöhen die Nachfrage nach technischen Lösungen, wie sie nach eigenen Angaben der in Illinois sitzende Anbieter Gaggle verfügbar macht. Die Firma setzt auf einen Mix aus einem proprietären System mit Künstlicher Intelligenz (KI) und menschlichen Begutachtern von als schädlich oder gefährlich erkannten Inhalten, um potenziell tödliche Taten zu verhindern. Zugleich soll das Programm dabei helfen, Kinder und Jugendliche zu "guten Bürgern" zu erziehen. Mit dem Ansatz wirft die Firma aber Fragen nicht nur zum Datenschutz der Betroffenen auf.
Tiefer Eingriff in Privatsphäre
Über 1400 US-Schulen mit rund fünf Millionen Auszubildenden glauben bereits den Versprechen von Gaggle und setzen die Software ein, um die digitale Arbeit und Kommunikation ihrer Schutzbefohlenen "in Echtzeit" zu überwachen. Das Programm klinkt sich in Googles G Suite und Microsoft Office 365 und damit in zwei der am weitesten verbreiteten Produktivitätspakete in der Cloud ein und analysiert den gesamten damit erzeugten Datenverkehr. Es bezieht zudem Nachrichten aus Twitter, Facebook, Instagram und anderen sozialen Netzwerken mit ein, die mit einer schulisch benutzten E-Mail-Adresse verknüpft sind.
Gaggle gibt an, allein im Schuljahr 2018/19 722 Schüler von einem Suizid abgehalten zu haben. Interne Dokumente wie Hinweise für Prüfer von Inhalten, Fallberichte und Rechnungen aus 17 Schulbezirken, die das Online-Magazin BuzzFeed auf Basis des US-Informationsfreiheitsgesetzes erhalten und ausgewertet hat, zeigen jedoch, wie tief das System in die Privatsphäre der Betroffenen eingreift und dass die Erfolgsmeldungen auf nur schwer nachprüfbaren Kriterien beruhen. Zudem wird deutlich, dass Schulbezirke mehr als 60.000 US-Dollar für den Einsatz von Gaggle pro Jahr bezahlen, die in knappen Etats an anderer Stelle fehlen.
Begriffe wie "schwul", "lesbisch", "queer" auf schwarzer Liste
Die Software mit dem eingebauten KI-Filter scannt demnach E-Mails, Dokumente, Chats und Kalendereinträge und gleicht sie mit einer schwarzen Liste ab, auf der sich neben Ausdrücken mit Bezügen zu Selbstverletzungen, Gewalt, Mobbing oder Drogen auch "vulgäre Ausdrücke" befinden. Letztere machen dem Bericht zufolge 80 Prozent der von dem System zur weiteren Verfolgung markierten Inhalte aus. Auch Begriffe wie "schwul", "lesbisch" oder "queer" sind auf der Liste.
Dazu kommt ein "Anti-Pornografie-Scanner", über dessen Trainingsdaten Gaggle aufgrund der sensiblen Thematik und geschützter Informationen rund um die Eigenlösung keine Auskunft geben wollte. Stellt ein Analyst der Firma fest, dass ein Schüler pornografische Inhalte selbst erstellt hat, wird die Datei automatisch an das National Center for Missing and Exploited Children (NCMEC) weitergeleitet für einen weiteren Abgleich mit der dortigen Datenbank für Bilder mit sexuellen Missbrauchsdarstellungen von Kindern.
Schüler nach "Regelverletzung" in drei Risikogruppen eingeteilt
Schlägt die Software Alarm, übergibt sie einschlägiges Material an einen von 125 "Sicherheitsrepräsentanten 1. Grades". Erkennen auch diese darin eine immanente Bedrohung für Schüler, schaut noch ein Mitglied einer 25-köpfigen Kerngruppe an besonders geschulten Prüfern darüber. Bleibt es bei der Einschätzung, werden umgehend Zuständige bei der Ausbildungsstätte oder bei deren Nichterreichbarkeit bei der örtlichen Polizei informiert.
Empfohlener redaktioneller Inhalt
Mit Ihrer Zustimmmung wird hier ein externer Inhalt geladen.
Ich bin damit einverstanden, dass mir externe Inhalte angezeigt werden. Damit können personenbezogene Daten an Drittplattformen übermittelt werden. Mehr dazu in unserer Datenschutzerklärung.
Generell speist Gaggle Erkenntnisse aus der Kommunikationsüberwachung in ein "Dashboard" für das "Sicherheitsmanagement" ein, auf das auch Schuladministratoren Zugriff haben. Daraus ersichtlich werden "Regelverletzungen" einzelner Schüler zusammen mit deren Ausweisnummern. Die Betroffenen werden dabei in drei Risikogruppen eingeteilt, die von hohen bis zu niedrigen Bedenken mit nur "fragwürdigen Inhalten" reichen.
Fehlalarme: "Gedichtsammlung" als gefährlich eingestuft
Das System befolgt auf dieser Basis eine "Three Strikes"-Regel, wie sie ähnlich auch aus dem Umgang mit Urheberrechtsverletzungen mit Konsequenzen bis hin zu Netzsperren bekannt geworden ist. Demnach werden auch geringfügige Regelverstöße an eine Schule gemeldet, wenn sie wiederholt auftreten und ein Beobachteter etwa dreimal das Wort "Fuck" benutzt. Betroffene verlieren damit gewisse Nutzerprivilegien, bis ein Schulvertreter sie wieder freischaltet.
Schulcomputer in den USA können eine Software erhalten, die per KI aus dem Surfverhalten der Schüler Rückschlüsse auf mögliche Selbstmordabsichten ziehen soll.
Im jüngsten Schuljahr will das Unternehmen mithilfe des Programms 52.000 Hinweise auf Absichten für Selbstmorde und -verletzungen ausgemacht haben. Davon sollen 6000 so dringlich gewesen sein, dass man die Schule unverzüglich darüber in Kenntnis gesetzt habe. Aus den Papieren geht aber hervor, dass die Software auch Dateien mit Titeln wie "Gedichtsammlung" oder "erzählerischer Aufsatz" als brandgefährlich eingeschätzt und so Fehlalarme ausgelöst hat.
Opt-out von Einzelnen schließt Schule von Softwarenutzung aus
Gaggle "empfiehlt" Schulbezirken nach eigenem Bekunden, die Erlaubnis von Eltern und Schülern einzuholen, bevor sie die Software der Firma verwenden. Sollten sich einzelne Betroffene später für ein Opt-out entscheiden, könnten sie die von der Schule angebotenen Softwareprodukte und E-Mail-Dienste nicht mehr in Anspruch nehmen und müssten mit eigenen Alternativen arbeiten. Von einer echten freiwilligen Nutzung des Dienstes lässt sich damit nicht ausgehen.
Experten sehen den Einsatz des Systems kritisch. Schulen seien zwar schon immer "Trainingsstätten für die Persönlichkeit" gewesen, erklärte Sarah Igo, Geschichtsprofessorin an der Vanderbilt-Universität, gegenüber BuzzFeed. Unter der ständigen Aufsicht von Diensten wie Gaggle brächten den Heranwachsenden auch vielleicht das ein oder andere bei, "aber nicht das, was sie lernen sollen". Es handle sich offenbar um eine "Lösung auf der Suche nach einem Problem", konstatierte Sarah Roberts, Expertin für "Content Moderation" an der University of California in Los Angeles. Das Ganze funktioniere nur, "wenn wir akzeptieren, dass unsere Kinder bis auf Weiteres in einem digitalen System gefangen sein sollten schon letztlich von der Zeit an, in denen sie empfindungsfähig werden." (tiw)
