Benchmarks für künstliche Intelligenz unter der Lupe
Benchmarks wie der UL Procyon versprechen, die KI-Leistung von Hardware in einfach vergleichbare Zahlen verpacken. Wir erklären das Punktzahlen-System dahinter.
(Bild: KI Midjourney | Collage c’t)
Alle reden über KI, jetzt auch durch Windows-AI-PCs (Stichwort: Copilot+) und die dazugehörigen Werbeaktionen nahezu jedes Hardware-Herstellers. Chip- und Geräteproduzenten versprechen vollmundig hohe KI-Rechenleistungen. Aber was leistet ein bestimmter PC wirklich? Der US-amerikanische Softwarehersteller UL Solutions, der vor rund zehn Jahren den 3DMark- und PCMark-Entwickler Futuremark gekauft hat, will mit Teilbenchmarks des kostenpflichtigen PCMark-Nachfolgers Procyon beziffern, wie viel KI-Leistung in einzelnen PCs oder Komponenten steckt. Außer Tests zu Büroaufgaben, Bild- und Videobearbeitung sowie der Batterielaufzeit umfasst die Suite drei verschiedene KI-Benchmarks: Computer Vision, Image Generation sowie einen Inference-Benchmark speziell für Android.
Anders als der 3DMark bietet Procyon aber keine schicken Animationen. Nur ein schmuckloser Fortschrittsbalken tröstet den User über die Zeit hinweg, bis entweder die errechneten Bilder oder die Berechnungszeiten in Form einer Punktzahl auf dem Display erscheinen.
In diesem Artikel schauen wir den beiden Testsuiten Computer Vision und Image Generation unter die Haube und gehen der Frage nach, ob eine einzelne Punktzahl so komplexe Anwendungen wie KI überhaupt sinnvoll vergleichbar machen kann. Doch zunächst ein paar Grundlagen.
Das war die Leseprobe unseres heise-Plus-Artikels "Benchmarks für künstliche Intelligenz unter der Lupe". Mit einem heise-Plus-Abo können sie den ganzen Artikel lesen und anhören.Immer mehr Wissen. Das digitale Abo für IT und Technik.
Ausprobiert: Windows on ARM mit neuen Snapdragon-X-Prozessoren
Die lange Kindheit des Survival-Spiels "7 Days to Die"
Interview mit VanMoof-Chef Eliott Wertheimer: Pläne nach der Insolvenz
Passen auf eine Diskette: Mini-Betriebssysteme ausprobiert
Saharastaub und Pollen: (Warum) sollte ich meine Solaranlage reinigen?