Brisante Funktion: Microsoft Recall ausprobiert
Windows Recall soll auf Copilot+-PCs die Nutzeraktivitäten durchsuchbar machen. Wir haben das Feature ausprobiert und auf die gesammelten Daten geschaut.
Brisante Funktion: Recall legt Screenshots an und packt sie in eine Datenbank.
(Bild: Microsoft)
- Peter Siering
Mitte Juni soll die neue Geräteklasse mit ARM-CPUs und eigenem speziellem KI-Chip (neural processing unit, NPU) auf den Markt kommen. Erst mit dieser NPU soll Micsrosofts neue Recall-Funktion überhaupt funktionieren. Kreative Talente haben aber Wege gefunden, die Funktion auf älteren ARM-PCs schon jetzt zu aktivieren. Dazu sind eine spezielle Vorabversion von Windows 11 in Version 24H2 (Build 26100.712) und ein System mit ARM-CPU nötig, etwa das Dev-Kit aus 2023 oder einer virtuellen Maschine in Microsofts Cloud Azure.
Mit der Software Amperage, die auf GitHub zu haben ist, und einem über 2 GByte großen – und ziemlich zähen – Download von Archive.org lässt sich auf einem derart vorbereiteten ARM-PC Recall ergänzen. Der Download enthält zusätzliche KI-Daten, mit denen Recall auch ohne NPU funktioniert. Nach dem Ausführen von Amperage ist die Funktion präsent, aber muss noch in den Windows-Einstellungen aktiviert werden. Anschließend sammelt der ARM-PC regelmäßig Screenshots und füttert diese und offenbar weitere Daten in eine Datenbank, die das Recall-Frontend dann durchsuchen kann.
Eher zäh
Die Suche in den so gesammelten Daten lief in einer Azure-VM eher zäh. Bis Recall erste Ergebnisse zeigt, dauerte es oft mehrere Sekunden, obwohl in der VM bisher nur wenige Bedienschritte erfolgt waren. Das mag durchaus an der fehlenden NP liegen. Dass die KI grundsätzlich funktioniert, beweist die Azure-VM durchaus: Die Suche findet auch Dinge, die nie eingegeben, aber auf dem Bildschirm als Bild dargestellt waren, liefert plausible Ergebnisse, etwa für ein Fahrrad, das nur als Bild zu sehen war. Die Optionen, um in den aufgezeichneten Daten via Timeline zu navigieren, wirken eher rudimentär. Eine feine sequenzielle Ansteuerung einzelner Zeitpunkte scheint nicht vorgesehen.
Aus den Suchergebnissen heraus kann man mal die Anwendung aufrufen, von der ein Suchtreffer stammt, mal landet man sogar direkt auf dem geöffneten Dokument, etwa einer konkreten Web-Seite – mit welcher Systematik erschloss sich uns auf den ersten Metern nicht. Der Ausgabe kann man gut entnehmen, ob sich Recall über eine reine Textsuche oder eben über eine Texterkennung (OCR) auf den aufgenommenen Screenshots an das Ergebnis herangetastet hat. Anscheinend schneidet es auch Eingaben des Nutzers mit, etwa wenn der in der Kommandozeile Befehle in der Powershell eingibt.
Klartext für jeden
Die Daten, die Recall durch die Beobachtung des Nutzers generiert, landen im Windows-Benutzerprofilordner unter AppData, also etwa in c:\Users\ps\AppData\Local\CoreAIPlatform.00\UKP. Dort liegt ein mit GUID-Namen versehener Unterordner, der eine SQLite3-Datenbank enthält sowie ein Unterverzeichnis "ImageStore" mit den Screenshots im JPEG-Format.
Die Datenbank und die Screenshots sind für alle Benutzer zugänglich, die in der Gruppe der Administratoren stecken – was für einzeln genutzte Windows-PCs heute den Standard darstellt. Das heißt: Zugriff auf diese Datenbank hat jeder Nutzer, der ein eigenes Konto auf dem PC hat. Für den Zugriff auf die Profile der anderen Nutzer muss er sich zwar den Zugriff verschaffen, aber das ist mit einem Klick auf die UAC-Nachfrage schnell getan (empfehlenswert ist es nicht, weil es den Schutz der Konten untereinander aufweicht).
Mit herkömmlichen Werkzeugen zur Bearbeitung von SQLite3-Datenbanken (etwa DB Browser for SQLite) kann man sich detaillierte Einblicke in das verschaffen, was Microsoft speichert. Hintergrund: SQLite ist eine Bibliothek, die in vielen Anwendungen integriert ist und dort eine SQL-Datenbank-Schnittstelle bereitstellt. Die von ihr bearbeiteten Dateien enthalten mehrere Tabellen und lassen sich plattformübergreifend austauschen, ansehen und bearbeiten.
Auf GitHub hat Alexander Hagenah mit "TotalRecall" ein Python-Skript veröffentlicht, das die in der Datenbank enthaltenen Daten sichert und auswertet. So kann man bequem auf der Kommandozeile prüfen, ob etwa ein bestimmtes Wort in den Daten vorkommt. Hagenah führt das am Beispiel des Suchbegriffs "password" vor, was Schlagzeilen inspiriert, die das Auslesen von Passwörtern aus dem KI-Datennebel nahelegen. Falsch ist das nicht, allerdings muss dafür das Passwort vermutlich auch lesbar auf dem Bildschirm angezeigt worden sein.
Wir haben versuchsweise das Anmelden an einer Nextcloud-Instanz von Recall beobachten lassen und keine Anzeichen dafür gefunden, dass die Funktion das Passwort sichert. Die Texterkennung bekommt nur die üblichen Sternchen oder Punkte zu sehen. Andererseits: Alles, was auf dem Bildschirm lesbar ist, steht der KI natürlich offen, etwa Kontostände und QR-Codes. Darüber muss sich ein Nutzer stets im Klaren sein. Optionen, um Recall vorübergehend zu deaktivieren oder für einzelne Programme abzuschalten, gibt es.
Die Brisanz
Die Brisanz der Funktion liegt weniger in der Tatsache, dass sie einzelne Geheimnisse in der Datenbank ablegt, sondern in der Aggregation der Daten: Sollten böse Buben die Daten abgefischt haben, kommen sie dank KI schnell an Screenshots aus dem Onlinebanking des Nutzers und können beurteilen, ob der Kontostand des Opfers weitere Anstrengungen lohnt. Die Daten liegen auf einem Silbertablett da und die Datenbank liefert das Inhaltsverzeichnis.
Aber nicht nur bei bösen Buben könnten die aggregierten Daten Begehrlichkeiten wecken. Schließlich kann man aus dem Datenschatz auch allerhand über die Gewohnheiten des Nutzers lernen. In der SQLite-Datenbank fanden wir zum Beispiel eine Tabelle, die fein säuberlich dokumentiert, wie viele Sekunden der Nutzer in welcher Anwendung verbracht hat. Unternehmen überwachen gern mal ihre Mitarbeiter. Mit Recall brauchen sie dafür nur noch zusätzliche Software für die gezielte Auswertung. Womöglich hilft dabei dann auch wieder spezialisierte KI?
Recall scheint mit heißer Nadel gestrickt und bricht mit vielen Traditionen: Microsoft nutzt SQLite, statt eigene Datenbanktechnik einzusetzen. Die Daten sind Klartext, statt sie kompliziert zu verschwurbeln, wie das unter Windows Usus ist. So kann man der Funktionsweise von Recall ziemlich genau auf die Finger sehen, was auch untypisch für Microsoft ist. Wäre das Feature nicht für Mitte Juni und die Copilot+-PCs versprochen, könnte man meinen, dass es sich um einen Prototyp handelt.
(ps)