Lokale KI auf Snapdragon-Notebooks optimieren
Windows-Notebooks mit Snapdragon X enthalten neben stromsparenden CPUs auch GPU- und NPU-Kerne. Lokal betriebene LLMs lassen sich fĂĽr die NPU optimieren.
- Ramon Wartala
Seit der Einführung des M1-SoC mit Metal-Performance-Shaders-Schnittstelle zeigt Apple, dass die ARM-Architektur sich nicht nur hervorragend für Spiele, sondern auch für die Entwicklung von KI-Anwendungen eignet und so Funktionen wie Apple Intelligence den Weg ebnet. Doch auch eine andere kalifornische Chipschmiede nutzt seit Jahren die ARM-Architektur für das eigene SoC-Design. Qualcomm möchte den Erfolg ihrer Mobile-SoCs Snapdragon, die seit 2007 in immer neuen Versionen in Mobiltelefonen unter anderem von Huawei, Xiaomi und Samsung zum Einsatz kommen, auch auf Notebooks fortführen.
Mit dem Snapdragon X Elite sowie dem Snapdragon X Plus sind zwei Versionen dieses CPU-Typs verfügbar, die typischen Notebook-Aufgaben gewachsen sind. Die SoCs unterscheiden sich in der Anzahl der Kerne. Der Qualcomm Snapdragon X Elite ist eine 12-Kern-CPU (allesamt Hochleistungskerne im Oryon-Design), die LPDDR5X-Speicher ansteuert und über eine integrierte Adreno-GPU verfügt. Die Taktfrequenz beträgt bis zu 3,8 GHz, im Boost-Modus auf bis zu zwei Kernen maximal 4,3 GHz. Der Qualcomm Snapdragon X Plus ist der kleine Bruder des Snapdragon X Elite – mit zehn statt zwölf Oryon-Kernen und abgespeckter Adreno-GPU. Windows läuft in Version 10 und 11 auf diesen SoCs und fühlt sich am wohlsten mit nativen ARM-Anwendungen und -Treibern.
- Machine-Learning- und KI-Modelle mĂĽssen auf die ARM64-Architektur des Snapdragon-SoC angepasst sein, um sie beschleunigt auszufĂĽhren. Nvidias CUDA-Schnittstelle ist nicht nutzbar.
- Qualcomm und Microsoft stellen Entwicklungswerkzeuge bereit, um diesen Umstieg so einfach wie möglich zu gestalten. Das soll Entwickler dazu motivieren, die neue Beschleunigungshardware zu nutzen.
- Modellportierungen werden ĂĽber Qualcomms AI-Hub und Hugging Face kuratiert.
- Erste Anwendungen wie GIMP, Blender und Cubase nutzen bereits die neue Hardware der Snapdragon-X-SoCs.
- Mit DirectML, ONNX und WebNN können Entwickler ihre Anwendungen hardwareunabhängiger entwickeln. Noch ist die Anpassung an ARM64 aber nicht ausgereift.
- Open-Source-Tools wie llama.cpp, das GGUF-Format und die verschiedenen Quantisierungstypen ermöglichen die schnelle Ausführung lokaler Modelle auch auf der ARM-CPU.
Um herauszufinden, wie sich moderne Machine-Learning- und Generative-KI-Modelle auf diesen Systemen schlagen, standen fĂĽr einen Test ein HP OmniBook X mit Snapdragon-X-Elite-X1E-78-100-SoC und 16 GByte Speicher und ein Acer Swift 14 AI mit Snapdragon X Plus zur VerfĂĽgung.
Das war die Leseprobe unseres heise-Plus-Artikels "Lokale KI auf Snapdragon-Notebooks optimieren". Mit einem heise-Plus-Abo können Sie den ganzen Artikel lesen.
