LLaMA-2-Apps laufen künftig auf Snapdragon-Smartphones ohne Internetzwang
Geräte mit Snapdragon-Prozessoren von Qualcomm können künftig LLaMA-2-Apps lokal ausführen. Für die KI braucht es dann keine Internetverbindung.
(Bild: c't)
Die KI-Koprozessoren in bestimmten Snapdragon-Chips bekommen ab dem Jahr 2024 einen neuen Anwendungszweck: High-End-Geräte können da Apps lokal ausführen, die Metas Large Language Model (LLM) LLaMA 2 verwenden. Die Berechnungen laufen komplett über den Prozessor; Hilfe aus der Cloud wird nicht benötigt.
Sprachassistenten oder Übersetzungshilfen funktionieren dann zum Beispiel auch im Flugzeugmodus ohne Internetverbindung – und folglich mit potenziell besserem Datenschutz. In der Ankündigung schreiben Qualcomm und Meta, dass LLaMA-2-Apps auf "Flaggschiff-Smartphones und -PCs", aber auch auf VR-Brillen und in Fahrzeugen mit Qualcomm-Infotainment-System laufen sollen.
Meta hat LLaMA 2 zusammen mit Microsoft erst kürzlich vorgestellt. App-Entwickler können das Sprachmodell kostenlos verwenden – entsprechende Apps dürften in den kommenden Monaten erscheinen.
Zunächst fürs High-End
Im Falle von Smartphones bezeichnen Hersteller Modelle als Flaggschiff, die Prozessoren aus der Snapdragon-8-Familie verwenden. Ende 2023 stellt Qualcomm voraussichtlichen den Snapdragon 8 Gen 3 vor, Ende 2024 dürfte der Gen-4-Nachfolger erscheinen.
ARM-Notebooks mit Qualcomm-Hardware sind bislang rar gesät. Die schnellsten Modelle verwenden derzeit den Snapdragon 8cx Gen 2. Im Jahr 2024 soll allerdings der erste Qualcomm-Prozessor mit selbstentwickelten ARM-Kernen der zugekauften Firma Nuvia verfügbar sein. Qualcomm will damit Apple angreifen, der mit der M-Serie die schnellsten ARM-Notebook-Prozessoren auflegt.
Alle aktuellen Snapdragon-CPUs integrieren eine "Artificial Intelligence Engine", von Qualcomm auch Hexagon-Prozessor genannt. Je nach Leistungsklasse integrieren sie unterschiedlich viele KI-Rechenwerke, die Matrixmultiplikationen berechnen und aufaddieren (Multiply-Accumulate, MAC). Die Rechenleistung genügt, um fertig trainierte neuronale Netze lokal auszuführen.
Empfohlener redaktioneller Inhalt
Mit Ihrer Zustimmmung wird hier ein externer Preisvergleich (heise Preisvergleich) geladen.
Ich bin damit einverstanden, dass mir externe Inhalte angezeigt werden. Damit können personenbezogene Daten an Drittplattformen (heise Preisvergleich) übermittelt werden. Mehr dazu in unserer Datenschutzerklärung.
(mma)
