KI: Apple arbeitet an lokalem LLM-Einsatz auf Endgeräten
Große Sprachmodelle brauchen viel Speicher – der bei Smartphones knapp ist. Ein Apple-Paper zeigt, wie es lokal auf dem Smartphone klappen könnte.
Apple hinkt bei generativen KI-Tools anderen Unternehmen hinterher, will aber aufholen. Medienberichten zufolge arbeitet der Konzern nicht nur an eigenen generativen KI-Tools, sondern auch an Wegen, um große Sprachmodelle (Large Language Models, kurz LLM) direkt auf portablen Geräten zum Laufen zu bringen. Ein Paper aus dem Hause Apple mit dem Titel „LLM in a flash: Efficient Large Language Model Inference with Limited Memory“ soll zeigen, wie das iPhone LLMs lokal ausführen könnte. Das Paper wurde bereits Mitte Dezember veröffentlicht, wurde aber nun erst bekannt.
Neue Methode gegen Speicherknappheit
Die größte Herausforderung beim Einsatz von Sprachmodellen wie ChatGPT ist, dass sie in großen Rechenzentren laufen. Denn neben viel Rechenleistung benötigen sie auch viel Speicherplatz. Gerade letzterer ist bei Smartphones wie dem iPhone vergleichsweise knapp. Die Autoren des Papiers arbeiten an einer Methode, die diese Einschränkungen umgehen und LLMs effizient ausführen soll. Dabei sollen die Parameter des Sprachmodells statt im RAM im Flash-Speicher abgelegt und nur bei Bedarf ins RAM übertragen werden.
Zusätzlich sollen zwei Schlüsseltechniken den Durchsatz erhöhen. Beim „Windowing“ sollen bereits übertragene Daten wiederverwendet werden, statt sie neu zu laden. Mittels „Row-Column Bundling“ sollen Daten effizient gruppiert und schneller eingelesen werden. Das soll KI-Funktionen wie das Sprachverstehen verbessern. Mit dieser Methode sollen sich Modelle ausführen lassen, die bis zu doppelt so groß sind wie der verfügbare Arbeitsspeicher.
Apples Pläne für KI
Apple hat im Betriebssystem iOS 17 an vielen Stellen lokal arbeitende KI-Funktionen integriert, etwa in der Kamera, dem Übersetzer der Fotos-App. Auch wenn die Sprachassistentin Siri für die meisten Befehle eine Internetverbindung benötigt, kann sie auf iPhone und Watch bereits einige Funktionen wie die Smarthome-Steuerung unter HomeKit lokal ausführen.
Empfohlener redaktioneller Inhalt
Mit Ihrer Zustimmmung wird hier ein externer Preisvergleich (heise Preisvergleich) geladen.
Ich bin damit einverstanden, dass mir externe Inhalte angezeigt werden. Damit können personenbezogene Daten an Drittplattformen (heise Preisvergleich) übermittelt werden. Mehr dazu in unserer Datenschutzerklärung.
Experten erwarten, dass der iPhone-Hersteller neben den Betriebssystemen auch Siri mit einem eigenen LLM verbessern wird. Große Sprachmodelle gibt es bei Apple derzeit allerdings nicht. Apple prüft laut Medienberichten in verschiedene Richtungen, wo KI integriert werden kann und testet intern auch eigene Sprachmodelle. Kurz vor Weihnachten berichtete die New York Times, dass Apple mit großen Verlagen und Nachrichtenanbietern verhandelt, um deren Nachrichtenarchive für Trainingszwecke nutzen zu können.
Neben Apple arbeiten auch andere Formen an der Nutzung lokaler Sprachmodelle auf mobilen Endgeräten. So kündigte Google im Dezember an, das Sprachmodell „Gemini Nano“ auf ausgewählten Pixel-Smartphones lokal auszuführen.
Wissenschaftler aus Apples AI/ML-Team und von der Cornell University haben auf GitHub bereits im Oktober ein eigenes multimodales Large Language Model namens Ferret publiziert, wie erst jetzt weitläufig bekannt wurde. Verfügbar sind sowohl der Quellcode als auch die dazugehörenden Weights. Die Lizenz ist allerdings nicht kommerziell, man darf den Code nur zu Forschungszwecken verwenden.
In einem Paper erläutern die Forscher die Ideen hinter dem Modell. So kann es etwa auf Bildern unterschiedliche Bereiche unterscheiden oder nach Eingabe einer Aufnahme von Zutaten Vorschläge machen, was man daraus kochen könnte. Ferret versteht sich dafür auf das sogenannte Spatial Referring – und zwar für "jeglichen Umriss und jegliche Granularität innerhalb eines Bildes und deren genaue Verankerung von Beschreibungen mit offenem Vokabular", hieß es. In der KI-Szene bekam Apple Lob für Ferret, etwa von Bart de Witte. Es sei ein iOS denkbar, in dem diese Technik Teil des Betriebssystems werde.
Empfohlener redaktioneller Inhalt
Mit Ihrer Zustimmmung wird hier ein externer Preisvergleich (heise Preisvergleich) geladen.
Ich bin damit einverstanden, dass mir externe Inhalte angezeigt werden. Damit können personenbezogene Daten an Drittplattformen (heise Preisvergleich) übermittelt werden. Mehr dazu in unserer Datenschutzerklärung.
(hze)
