Gernegroß
Generative KI ohne Cloud
Konzerne wie Apple, Google oder Meta haben für ihre großen KI-Sprachmodelle zentrale Cloud-Infrastrukturen entwickelt und Anwendergeräte hängen daran wie am Tropf. Ein Forschungsteam hat nun erstmals systematisch untersucht, wie gut große und kleine Modelle auf Android und iOS oder sogar auf hypothetischen, KI-fähigen Routern und Smart-TVs laufen würden.
Eigentlich ist die Messung der KI-Leistung von Anwendergeräten wie Smartphones nichts Neues: Programme wie Geekbench haben schon mit Erscheinen der ersten, auf Machine Learning spezialisierten Rechenkerne deren Geschwindigkeit gemessen. Und seit Anfang August kann man mit dem neuen Geekbench AI ermitteln, wie schnell ein Smartphone oder ein PC bestimmte KI-Aufgaben löst. Dabei geht es um Dinge wie die Bild- und Textklassifizierung, Gesichts- und Objekterkennung, Tiefenmessung oder maschinelle Übersetzung.
Doch damit gewinnt man nur einen Eindruck von der Leistung eines im Betriebssystem eingepflanzten kleinen Sprachmodells, das aufwendige Aufgaben dem um Größenordnungen schnelleren großen Bruder in der Cloud zuschiebt.