Raus aus der Wolke: So funktionieren Apples lokale KI-Modelle

Inhaltsverzeichnis

Das neue Framework umfasst ein lokales LLM, das ein Prompt-Ergebnis in vom Entwickler vorgegebenen Typen zurückliefert. Es übergibt sein Ergebnis strukturiert in konkreten Typen und nicht einfach als unstrukturierten String, was sich im Kontext einer API als sehr hilfreich erweist. Der Entwickler spart sich dadurch das selbstständige und fehleranfällige Parsen von Strings. Die dahinterliegende Technik heißt Constrained Decoding und existiert erst seit wenigen Jahren.

kurz & knapp

• Foundation Models Framework arbeitet nur On-Device.
• Es kann über eigens definierte Tools auf externe Daten zugreifen.
• #Playground Makro führt Prompts direkt in Xcode aus.
• Snapshot Streaming ermöglicht den Zugriff auf Teilresultate.

Weil das neue Framework, das xOS 26 und mindestens ein Device mit A17 Pro oder M1-Prozessor voraussetzt, lokal auf dem Device ausgeführt wird, ergeben sich für die Entwickler neue Möglichkeiten. Bisherige LLM-Lösungen aus der Cloud setzten dagegen immer voraus, dass der Nutzer online ist. Auch das Thema Sicherheit der Nutzerdaten stellt sich mit diesem Ansatz nicht, da die an das LLM gesendeten Daten und Antworten auf dem Gerät verbleiben und nicht anderweitig (aus-)genutzt werden können.

Limitierungen gegenüber den großen Modellen

Doch kein Licht ohne Schatten: Das lokale LLM verfügt lediglich über 3 Milliarden Parameter. Im Vergleich zu Cloud-basierten LLMs, die mehrere Hundert Milliarden Parameter verwenden, ist das lokale Modell hier klar im Nachteil. Größere Modelle enthalten mehr Wissen und können unter anderem komplexere Muster erkennen.

Das war die Leseprobe unseres heise-Plus-Artikels "Raus aus der Wolke: So funktionieren Apples lokale KI-Modelle". Mit einem heise-Plus-Abo können Sie den ganzen Artikel lesen.