Apple plant iPhone-Scanning auf Kinderpornos – Sicherheitsforscher alarmiert

Apple kündigt umstrittene Maßnahmen für Kinderschutz an: Das sogenannte CSAM-Scanning gibt es zunächst für iCloud-Uploads. Für iMessage kommt ein Nacktfilter.

In Pocket speichern vorlesen Druckansicht 587 Kommentare lesen
zwei iPhone 12

(Bild: Apple)

Lesezeit: 7 Min.
Von
  • Ben Schwan

Apple will mit iPadOS 15 und iOS 15 eine neue Funktion einführen, mit der die Foto-Bibliothek von iPad- und iPhone-Nutzern auf kinderpornografisches Material ("Child Sexual Abuse Material", kurz CSAM) untersucht werden kann, um die Inhalte dann den zuständigen Behörden zu melden. Sicherheitsforscher fürchten, dass solche Funktionen zu weitreichend sind und künftig auch auf Ende-zu-Ende-verschlüsselte Inhalte auf den Geräten angewendet werden könnten – ein weiteres neues Feature nährt letztere Vermutung.

Das geplante Scanning auf fremden Geräten wird in einem White Paper beschrieben, das Apple Donnerstagabend veröffentlicht hat. Die Einführung des Dienstes beginnt in den USA, wann andere Länder hinzukommen, blieb zunächst unklar. Der Konzern betont, die CSAM-Detektierung sei so vorgesehen, dass bei ihr "die Nutzerprivatsphäre im Blick" bleibe. Doch genau dies ruft Kritik hervor: Statt die Inhalte direkt in der Cloud – also auf den eigenen Servern – zu scannen, wie dies etwa Google, Twitter, Facebook oder Microsoft tun, will Apple ein On-Device-Scanning vornehmen, die Inhalte also direkt auf dem Gerät des Nutzers überprüfen.

Die Dateien werden mit einer Datenbank bekannter Hashwerte von CSAM-Inhalten, die das US-Non-Profit National Center for Missing and Exploited Children (NCMEC) sammelt, abgeglichen. Apple nutzt allerdings eine eigene Methode namens "NeuroHash", die laut dem White Paper nicht nur eindeutige Treffer, sondern auch "nahezu identische" Aufnahmen finden können soll, die sich in Größe oder Kompressionsqualität vom Original unterscheiden.

Die NeuroHash-Überprüfung erfolgt jeweils vor dem Upload in die iCloud. Dabei stellt sich die Frage, wo das Bild jeweils herkommt – üblicherweise werden nur neue Bilder, die mit dem iPhone gerade aufgenommen werden, hochgeladen. Bei minderjährigen Nutzern möchte Apple sogar deren iMessage-Inhalte scannen (siehe unten).

Gibt es einen Treffer bei der lokalen Suche, wird das Bild mit einem kryptografischen Flag versehen ("Safety Voucher") und hochgeladen – samt einiger Metadaten. Diese Flags möchte Apple selbst zunächst nicht entschlüsseln. Nur wenn ein bestimmter "Grenzwert bekannten CSAM-Materials" überschritten wird, erfolgt eine Meldung an den Konzern, der den Safety Voucher dann entschlüsseln darf. Wie genau der Schwellenwert zustandekommt, sagt Apple nicht.

Der Grenzwert soll die Wahrscheinlichkeit für inkorrekte Einstufung eines Kunden als Kinderpornobesitzer "extrem niedrig" halten. Außerdem untersucht Apple jeden Treffer des Systems manuell, um zu bestätigen, dass es einen Treffer gibt. Dann wird der Account gesperrt und ein Bericht an das NCMEC geschickt, das wiederum die Behörden informiert. "Wenn ein Nutzer das Gefühl hat, dass sein Account ungerechtfertigterweise markiert wurde, kann er eine Beschwerde einreichen, um ihn wieder freigeben zu lassen."

Der Kryptografie-Professor Matthew Green von der Johns Hopkins University in Baltimore, der auf Twitter frühzeitig auf Apples Pläne aufmerksam gemacht hatte, befürchtet, dass Apples Infrastruktur später missbraucht werden könne – etwa zum Scanning von aktuell Ende-zu-Ende-verschlüsselten Inhalten auf dem Gerät wie iMessages. "Apple würde etwas so komplexes und kompliziertes nicht bauen, wenn sie keine anderen Verwendungszwecke dafür hätten", sagte er gegenüber Mac & i.

"Die haben ja schon perfekt funktionierende Scanning-Systeme auf Serverseite." Zudem sieht er Probleme mit Fehltreffern, denn bekanntermaßen ist es möglich, mit Hilfe von KI-Systemen Hash-Kollisionen zu verursachen – auch mit Bildern, die gar nichts mit Kindesmissbrauch zu tun haben. So wären dann auch neue Angriffsformen und Erpressungsversuche denkbar.

Tatsächlich scheint sich Greens Befürchtung zu bewahrheiten, was das Scannen verschlüsselter Inhalte betrifft. Allerdings nur bei Apple-ID-Accounts von Kindern. Neben der neuen CSAM-Scanning-Funktion kündigt der iPhone-Hersteller nämlich neue "erweiterte Schutzmaßnahmen für Kinder" an. Diese umfassen das lokale Scannen von Bildern in iMessage, "um Kinder und ihre Eltern zu warnen", wenn die Kleinen "sexuell explizite Fotos erhalten oder versenden". Apple selbst soll davon keine Kenntnis erhalten, hieß es.

Scannen und Warnen in iMessage.

(Bild: Apple)

Das System soll entsprechende Bilder zunächst verschwommen darstellen, dann erfolgt eine Warnung in Verbindung mit "hilfreichen Ressourcen", die etwa bei Missbrauch helfen sollen. Schaut ein Kind das Bild tatsächlich an respektive sendet es es ab, erhalten die Eltern eine automatische Warnung. Aktivierbar ist die Funktion bei iCloud-Familien-Accounts. Sie soll auch Teil von macOS 12 alias Monterey sein.

Empfohlener redaktioneller Inhalt

Mit Ihrer Zustimmmung wird hier eine externe Umfrage (Opinary GmbH) geladen.

Ich bin damit einverstanden, dass mir externe Inhalte angezeigt werden. Damit können personenbezogene Daten an Drittplattformen (Opinary GmbH) übermittelt werden. Mehr dazu in unserer Datenschutzerklärung.

NSA-Whistleblower Edward Snowden kommentierte Apples neues Feature auf Twitter mit den Worten, der Konzern wolle "das iPhone so modifizieren, dass es ständig auf Bannware scannt". Ross Anderson, Professor für Security Engineering in Cambridge, hält Apples Plan unterdessen für eine "schreckliche Idee". Damit beginne die verteilte Massenüberwachung "unserer Telefone und Laptops", sagte er.

Auch Green fürchtet, dass die Technik in falsche Hände fallen könnte und Apples Argument des Privatsphärenschutzes nicht zieht. "Es ist so, als ob man mit einem Elektroauto zu einem Ort fährt, an dem man ein Großfeuer anzündet – und dann sagt man, man sei ja klimafreundlich unterwegs."

Meldefunktion für Kindesmissbrauch in Siri (links), Siri-"Intervention" bei Suchanfragen nach CSAM-Material (rechts).

(Bild: Apple)

[Update 06.08.21 10:24 Uhr:] Apple hat weiterhin angekündigt, dass seine Sprachassistentin Siri samt der intelligenten Suchfunktion "Siri and Search" auf CSAM-Inhalte reagieren soll. Das System erkennt künftig, wenn Suchanfragen vom Nutzer durchgeführt werden, die aus diesem Kontext stammen. Siri blendet dann eine "Intervention" ein und teilt unter anderem mit, dass dieses Thema "schädigend und problematisch" sei. Zudem werden Hilfsorganisationen genannt. Siri soll zudem betroffenen Kindern und ihren Eltern künftig dabei helfen, Fälle von Online-Kindesmissbrauch direkt zu melden.

[Update 06.08.21 13:46 Uhr:] Apple hat sein System durch drei unabhängige Krypto-Experten anschauen lassen – Benny Pinkas (Bar-Ilan University), Mihir Bellare (UC San Diego) und David Forsyth (UIUC). Bellare nahm für Apple auch "eine konkrete Sicherheitsanalyse" vor. Die Systeme seien "mathematisch robust", heißt es in den Unterlagen unter anderem. Forsyth sagte, er glaube, das System könne dabei helfen, "die Wahrscheinlichkeit deutlich zu erhöhen, Menschen zu finden, die solche [CSAM-]Bilder besitzen oder verbreiten". Matthew Green hält die von Apple veröffentlichten Analysen allerdings "nicht für ein Security-Review".

Apple kündigte unterdessen an, dass neben dem NCMEC auch andere Quellen von Hashes hinzukommen könnten – "während das Programm expandiert". Gegenüber dem IT-Blog The Verge wollte Apple nicht angeben, ob diese Liste öffentlich bekanntgegeben wird. Dies könnte Bedenken schüren, dass die Technik etwa von der chinesischen Regierung ausgenutzt wird, um auch andere unliebsame Inhalte aufzufinden.

(bsc)