App-Intents-API: So soll Siri künftig den Bildschirminhalt lesen
Ab iOS 18.2 bereitet sich Apple auf die neue "Onscreen Awareness" des KI-Assistenzsystems vor. Künftig soll Siri wissen, was Nutzer sehen, um ihnen zu helfen.
(Bild: Apple)
Apple hat Details zur App-Nutzung mit einer neuen Siri-Funktion vorgelegt, die es der Sprachassistentin ermöglichen soll, iPhone-Bildschirminhalte auszulesen. Die sogenannte Onscreen Awareness wird mit einem kommenden iOS-18-Update im Rahmen von Apple Intelligence erwartet (vermutlich bis Frühjahr 2025) und ergänzt unter anderem die neue Kontextfunktion, die Siri deutlich smarter machen soll, weil auf dem Gerät enthaltene Inhalte einbezogen werden können.
Testen ab iOS 18.2 – für Entwickler
Für das Feature muss es eine bestimmte Vorgehensweise seitens der Developer geben, wie Apple in einem neuen Entwicklerdokument feststellt. Darin geht es darum, wie Apps darauf vorbereitet werden müssen, um auf dem Bildschirm zu sehende Inhalte für Siri und Apple Intelligence aufzubereiten. API-Features sind demnach bereits in iOS 18.2 implementiert, damit diese ausprobiert werden können.
Apple möchte die Onscreen Awareness offenbar möglichst privatsphärenfreundlich gestalten. Erst wenn ein Benutzer eine Frage zu einem Bildschirminhalt stellt oder eine darauf basierende Aktion ausführen möchte, können Siri und Apple Intelligence den Inhalt einsehen und die Aktion ausführen. Ob dies nur lokal auf dem Gerät geschieht (was Apple eigentlich anstrebt) oder auch Apples Private Cloud Compute Verwendung findet, bleibt derzeit unklar. An Drittanbieterdienste werden die Informationen nur auf ausdrücklichen Nutzerwunsch weitergeleitet. Als Beispiel nennt Apple das Anzeigen einer Website, um sich diese von Siri dann zusammenfassen zu lassen. Das geht aktuell mit Apple Intelligence zwar schon, doch muss dafür geklickt werden.
Weitergabe an ChatGPT auf Wunsch
Im Rahmen der Nutzung von ChatGPT soll es auch möglich sein, auf dem Bildschirm zu sehende Fotos oder Dokumente an OpenAI zu senden. Das gilt etwa zur Generierung von Bildbeschreibungen oder der Analyse von PDFs. Auch hier erfolgt stets eine Nachfrage, bevor Daten abfließen. Siri bietet ChatGPT unter anderem dann an, wenn Nutzer Aktionen abfordern, die die Sprachassistentin derzeit noch nicht ausführen kann. Bildbeschreibungen wird Apple aber auch demnächst selbst im Rahmen der "Visual Intelligence"-Funktion liefern.
In seinem Entwicklerdokument teilt Apple weiter mit, dass "aktuelle und künftige Personal-Intelligence-Funktionen" eine explizite Freigabe des Bildschirminhalts über das App-Intents-Framework benötigen. Es ist also denkbar, dass ältere Anwendungen Onscreen Awareness nicht unterstützen, denn App Intents verwenden bislang nur relativ wenige iPhone-Apps. Das könnte also schnell frustrierend werden.
Empfohlener redaktioneller Inhalt
Mit Ihrer Zustimmmung wird hier ein externer Preisvergleich (heise Preisvergleich) geladen.
Ich bin damit einverstanden, dass mir externe Inhalte angezeigt werden. Damit können personenbezogene Daten an Drittplattformen (heise Preisvergleich) übermittelt werden. Mehr dazu in unserer Datenschutzerklärung.
(bsc)
