KI: Wie Benchmarks die Leistung großer Sprachmodelle messen und vergleichen
Mit vielen Versprechen huldigen Entwickler, Firmen und Medien gerne Sprach-KIs. In der Praxis folgt meist die große Ernüchterung. Warum ist das so?
(Bild: KI Midjourney | Bearbeitung c’t)
Um Sprach-KIs untereinander und mit dem Menschen zu vergleichen, ersinnen Forscher immer ausgeklügeltere Testverfahren. Doch die Vermessung von GPT-4, Llama, Bloom und Co. nebst ihren zahllosen Ablegern ist weder eine exakte noch eine simple Wissenschaft. Vor allem wird sie immer komplexer, je redegewandter und universeller die künstlich intelligenten Sprachgeneratoren werden.
Benchmarks und Metriken halten mit den enormen Entwicklungssprüngen der Large Language Models (LLMs) kaum Schritt; manche sind schon bei ihrer Veröffentlichung angezählt.
Um dem zu begegnen, tragen Institute und Unternehmen mittlerweile per Crowdsourcing riesige, sich interaktiv entwickelnden Aufgabensammlungen zusammen, ersinnen möglichst knifflige Probleme und differenzierte Testszenarien oder veranstalten spannende Shootouts mit Mensch, Maschine und Rangliste.
Immer mehr Wissen. Das digitale Abo für IT und Technik.
BMW iX2 im Test: Elektroauto mit hohem Reifegrad
Gehälter 2024: Das verdienen Admins in Deutschland
Wandel bei Wärmepumpen: Neue Kältemittel, ohne Kompressor und mit KI
Ausprobiert: Fritzbox als NAS-Ersatz verwenden
1&1 baut als erster europäischer Netzbetreiber ein Open RAN für 4G und 5G
Fahrrad zum E-Bike aufrüsten: Drei Nachrüstmotoren im Test
Immer mehr Wissen. Das digitale Abo für IT und Technik.
BMW iX2 im Test: Elektroauto mit hohem Reifegrad
Gehälter 2024: Das verdienen Admins in Deutschland
Wandel bei Wärmepumpen: Neue Kältemittel, ohne Kompressor und mit KI
Ausprobiert: Fritzbox als NAS-Ersatz verwenden
1&1 baut als erster europäischer Netzbetreiber ein Open RAN für 4G und 5G