KI-Projekt App Danger: Schwarze Liste für jugendgefährdende Apps
US-Forscher setzen auf KI, um für Kinder und Jugendliche riskante Apps zu identifizieren. Von über 180 Anwendungen raten sie so inzwischen online ab.
(Bild: REC Stock Footage/Shutterstock.com)
Brian Levine, ein Informatiker an der University of Massachusetts in Amherst, hatte es satt, ständig von seiner 14-jährigen Tochter um Erlaubnis für das Installieren bestimmter Smartphone-Apps gefragt zu werden. Um ständigen eigenen Überprüfungen zu entkommen und auch anderen Eltern zu helfen, hat er daher ein Rechenmodell entwickelt, das die Bewertungen von Kunden zu sozialen Apps automatisch auswertet. Eine Künstliche Intelligenz (KI) durchsucht die Einschätzungen von Nutzern in den App-Stores von Apple und Google dabei nach Stichworten wie "Kinderporno" oder "Pädophilie". Im Anschluss prüft das System den Kontext, um leicht erkennbare Fehleinschätzungen zu verhindern.
App Danger Project durchsucht Bewertungen nach Kindesmissbrauch
Levine hat zusammen mit Kollegen auf dieser Basis und mit zusätzlichen händischen Checks in den vergangenen zwei Jahren mit dem App Danger Project eine Webseite mit einer schwarzen Liste für Anwendungen erstellt, über die potenziell mit vergleichsweise hoher Wahrscheinlichkeit für Kinder und Jugendliche gefährliche Inhalte getauscht oder verbreitet werden. "Um die Sichtbarkeit von Berichten über sexuellen Kindesmissbrauch zu erhöhen, haben wir App-Rezensionen gesammelt, die Bedenken hinsichtlich der Ausbeutung von Kindern aufkommen lassen", erläutert das Team auf der Homepage. Die angeführten Anwendungen würden "nach der Anzahl der Bewertungen aus den App-Stores sortiert, in denen Nutzer gefährliche Situationen für Kinder gemeldet haben".
Um einschlägige Einschätzungen zu entdecken, "verwenden wir einen Algorithmus für maschinelles Lernen", führen die Wissenschaftler aus. Das aus rund einem Dutzend Informatiker bestehende Team kontaktiere die Verfasser einschlägiger Bewertungen zwar nicht, berichtete Levine der New York Times. Jeder einzelne maschinell herausgefischte Nutzerbericht werde aber gegengelesen. Bestätigten sich Bedenken hinsichtlich der Kindersicherheit nicht, würden die Einschätzungen aussortiert.
Über 550 Apps auf sexuellen Kindesmissbrauch untersucht
Die App-Stores von Apple und Google böten selbst keine Stichwortsuche an, moniert Levine. Damit machten die Betreiber es Eltern schwierig, Warnungen vor unangemessenem Sexualverhalten ausfindig zu machen. Das Team habe inzwischen über 550 Apps mit Schwerpunkt Social Media und Messaging aufgrund einschlägiger Rezensionen untersucht. Ein Fünftel davon hatte demnach zwei oder mehr Beschwerden über Inhalte zu sexuellem Kindesmissbrauch. 81 Angebote hatten sieben oder mehr Bewertungen dieser Art. Insgesamt stehen momentan 182 Apps auf der Liste, die Anwendungen für Google beziehungsweise Apple gegebenenfalls auch doppelt anführt.
Neben beliebten Diensten wie WhatsApp, Snapchat, Reddit, Discord, Tumblr und diversen Dating-Apps finden sich in dem Verzeichnis auch die drei Anwendungen Hoop, MeetMe und Whisper mit zahlreichen negativen Erwähnungen. Laut der Marktforschungsfirma Sensor Tower haben sie über die App-Stores im vorigen Jahr zusammen rund 30 Millionen US-Dollar Umsatz gemacht. Sie tauchen aber auch in diversen Strafverfahren auf, die laut dem US-Justizministerium einen Bezug zu sexuellem Kindesmissbrauch haben.
Forscher sehen Apple und Google in der Pflicht
Die Forscher sehen Apple und Google in der Pflicht, Eltern mehr Informationen über die Risiken an die Hand zu geben, die von einigen Apps ausgehen. Zudem sollten die Betreiber Anwendungen, die bereits zu Missbrauch beigetragen haben, besser überwachen. Nicht jedes Programm mit Bewertungen, die auf Kinderschänder verweisen, müsse hinausgeworfen werden, erklärte der Computerwissenschaftler Hany Farid aus Berkeley, der mit an dem Projekt arbeitet, gegenüber der Times. Apple und Google sollten aber immer wieder überprüfen, warum einige der problematischen Anwendungen nach wie vor verfügbar seien.
Die beiden Tech-Unternehmen sagen, dass sie regelmäßig Nutzerbewertungen von Apps mit ihren eigenen Computermodellen scannen und Vorwürfe des sexuellen Missbrauchs von Kindern untersuchen. Sollten Anwendungen gegen ihre Richtlinien verstoßen, würden sie entfernt. Apps verfügten über Altersfreigaben, um Eltern und Kindern zu helfen. Spezielle Software ermögliche es Erziehungsberechtigten, Downloads zu untersagen. Man biete App-Entwicklern zudem Instrumente zur Überwachung von Darstellungen von Kindesmissbrauch an. Apple ließ gegenüber der Zeitung durchblicken, zehn Programme von der Liste nach eingehender Prüfung entfernt zu haben. Von Google hieß es, man habe keine Nachweise für einschlägiges Material gefunden.
Das neue Management von Hoop versicherte dem Bericht zufolge, die Regeln zum Löschen von Inhalten verschärft zu haben. Von der Meet Group, der MeetMe gehört, war zu hören, dass sie keine Missbrauchsbilder toleriere, danach mithilfe von KI suche und unangemessenes sowie verdächtiges Verhalten an die Behörden melde. Whisper antwortete nicht auf eine Anfrage der Times. Levine hofft, dass das Projekt zusammen mit ähnlich gelagerten Diensten wie Common Sense Media dauerhaft beim Ausfindigmachen von Anbietern hilft, die den Nutzern nicht ausreichend Schutz bieten. Hierzulande müssen Jugendschutzbeauftragte bei der Vergabe von Alterskennzeichen für Computerspiele Interaktionsrisiken seit 2021 berücksichtigen.
(bme)