On-Device AI: Die künstliche Intelligenz wandert ins Smartphone und Notebook

Inhaltsverzeichnis

Um den MWC 2024 zusammenzufassen, reichen zwei Buchstaben: KI. Ob Mobilfunkantennen, Kommunikationssatelliten oder Backend-Software – der Hinweis auf eine jetzt noch schnellere oder umfangreichere künstliche Intelligenz ist in der Mobilfunkbranche Anfang 2024 allgegenwärtig. Für Verbraucher ist dabei vor allem ein Ansatz interessant. Denn die Branche will die künstliche Intelligenz unter dem Stichwort On-Device AI (künstliche Intelligenz im Gerät) in die Hosentasche und auf den Schreibtisch von Verbrauchern bringen.

On-Device AI ist schnell erklärt. KI-Tools wie ChatGPT oder Midjourney laufen in den allermeisten Fällen in der Cloud. Die vom Nutzer eingegebenen Prompts landen via Internet auf irgendeinem Server, der das Ergebnis dann auf dem gleichen Wege zurück zum Endgerät schickt. Der Vorteil: Da in der Cloud mehr Leistung als auf dem Smartphone oder PC zur Verfügung steht, ist das Ergebnis trotz Umweg schneller verfügbar. Die Nachteile: Ohne Online-Anbindung stehen die Tools nicht zur Verfügung und möglicherweise sensible Daten landen irgendwo im Netz. Mit On-Device AI – so die Anbieter – wird die Cloud überflüssig. Die Berechnungen erfolgen direkt auf dem Gerät, selbst wenn kein WLAN oder Mobilfunknetz verfügbar ist. Die Prompts und anderen Daten verlassen das Gerät nicht.

On-Device AI mit und ohne spezielle Hardware

Darüber, wie die dafür benötigte Hardware aussehen muss, herrschte auf dem MWC 2024 Uneinigkeit. Grundsätzlich kann selbst der langsamste CPU-Kern oder die Grafikeinheit eines 100-Euro-Smartphones KI-Berechnungen durchführen und entsprechend Prompts verarbeiten. Wie das aussehen kann, demonstrierte ARM. Der britische Prozessorentwickler ließ Eingaben allein von der CPU berechnen. Die dahintersteckende, nicht ausgesprochene These: Spezielle KI-Beschleuniger sind in Verbrauchergeräten wie Smartphones kein Muss, um künstliche Intelligenz "on Device“ zu nutzen. Sie können die Effizienz jedoch stark erhöhen und dadurch die Akkulaufzeit verlängern.

ARMs Demonstration ist dabei das Gegenteil dessen, was Qualcomm anstrebt. Das Unternehmen, das auf dem MWC 2024 mit dem Snapdragon X80 und FastConnect 7900 neue Funkplattformen mit KI-Hardware und -Funktionen vorgestellt hat, sieht einen großen Bedarf an On-Device AI in den verschiedensten Geräten und Komponenten. Große Sprachmodelle sollen lokal auf Smartphones und Notebooks laufen, auf dem MWC mit sieben Milliarden Prompts großen Sprachmodellen. Verarbeiten sollen das spezielle NPUs (Neural Processing Units), die in den Prozessoren des Unternehmens stecken.

Dabei will Qualcomm schneller sein als die Notebook-Konkurrenz von AMD (Ryzen 7000 / 8000) und Intel (Core Ultra 100), die langsamere KI-Einheiten integrieren. Einen Benchmark-Vergleich mit dem Core Ultra 7 155H entschied Qualcomms kommender Snapdragon X Elite klar für sich: Mit Stable Diffusion 1.5 in Gimp hat Qualcomms Referenz-Notebook mit Snapdragon X Elite in gut sieben Sekunden ein Bild generiert. Das Intel-Modell benötigte dafür unter Einbeziehung seiner NPU (KI-Modell U-Net), CPU-Kerne (Text-Encoder) und GPU (Variational Autoencoder, VAE) gut 22 Sekunden, also rund dreimal so lange. Intels KI-Einheit allein hat weniger Rechenleistung: Sie schafft etwa 11 Billionen Berechnungen pro Sekunde (11 TOPS) im INT8-Datenformat, der Verbund aus CPU, GPU und NPU kommt auf 34 TOPS. Qualcomm nennt 45 TOPS bei seiner NPU.

Selbst auf Nachfrage rückte Qualcomm allerdings keine Details zu den CPU-Konfigurationen heraus. Insbesondere die maximal erlaubte elektrische Leistungsaufnahme (Powerlimit) kann die Leistung beeinflussen und Vergleiche verzerren. Der obige KI-Vergleich ist daher unter Vorbehalt zu verstehen.

Die Antwort darauf, was der Verbraucher von On-Device AI abgesehen von gespartem Datenvolumen hat, liefert die Deutsche Telekom mit dem ebenfalls in Barcelona präsentierten KI-Konzept-Smartphone. Das Gerät nutzt das KI-Interface Natural der Firma Brain.ai, das Apps laut Telekom überflüssig macht. Statt wie bislang für jeden Dienst die dazugehörige Applikation zu installieren, soll der Nutzer der KI einfach seine Wünsche mitteilen. Das Ziel: Natural erkennt die Eingaben sowie den Kontext, sucht den gewünschten Inhalt im Netz und präsentiert ihn dann passend aufbereitet. Die dafür nötige Leistung liefert Qualcomms Snapdragon 8 Gen 3, der über diverse KI-Beschleuniger verfügt. Alles, was die KI betrifft, soll das Gerät lokal berechnen. Persönliche oder sensible Daten landen nur dann in der Cloud oder beim Händler, wenn es zwingend erforderlich ist – etwa für die Zahlungsabwicklung.

Besser funken mit lokaler KI

Aber auch im Hintergrund soll die KI im Gerät Aufgaben übernehmen, kurzfristig vor allem in Bezug auf den Datenaustausch per Funk. So soll die künstliche Intelligenz im neuen Qualcomm-Modem und -WLAN-Chip für einen geringeren Energiebedarf sorgen, indem sie die Prioritäten von Übertragungen analysiert und entsprechend die Leistung anpasst. Das klingt gut, hat aber einen Haken: Solange die Gegenstelle – also die Mobilfunkzelle oder der Router – nicht über die gleichen Funktionen verfügen, prallt die KI des Smartphones auf die dumme Funkinfrastruktur. Und es gibt ein weiteres Problem: Was passiert, wenn zahlreiche Endgeräte mit intelligenter WLAN-Steuerung in einem Netz untereinander und gleichzeitig mit den "dummen" Geräten um Prioritäten konkurrieren? Die Antwort auf diese Frage, etwa in Form eines Standards, gibt es bisher nicht – zumindest nicht öffentlich.

Nicht jede KI benötigt spezielle Beschleuniger

Mittel- und langfristig dürften sich Probleme wie der erwähnte Konkurrenzkampf im WLAN in Luft auflösen – sofern es überhaupt zu ernsthaften Problemen kommt. Abzuwarten bleibt aber, ob On-Device AI wirklich so eine große Rolle spielen wird, wie es etwa die Deutsche Telekom oder Qualcomm als zwei der prominentesten Vertreter in diesem Bereich prophezeien. Beim Blick auf das Konzeptgerät der Telekom übernimmt die künstliche Intelligenz auf den ersten Blick keine anderen Aufgaben als die Sprachassistenten von Amazon, Apple und Google auf heute schon erhältlichen Endgeräten. Klare Vorteile bietet eine im Gerät arbeitende KI hingegen, wenn es beispielsweise um Text- und Bildgeneratoren sowie Foto- und Videobearbeitung geht. Die spezielle darauf ausgerichtete Hardware arbeitet – derzeit – oftmals schneller und effizienter als Chips ohne die entsprechenden Beschleuniger.

Hinweis: Qualcomm hat die Reisekosten des Autors zum MWC übernommen. (pbe)