Intelligenztest für Siri
Wie intelligent sind Maschinen? Chinesische Forscher haben einen Test entwickelt, der diese Frage beantworten soll – sogar im Vergleich mit Menschen. Dabei ist noch nicht einmal das Wesen von Intelligenz wirklich verstanden.
- TR Online
Psychologen sind sich immer noch nicht richtig einig über den Charakter der menschlichen Intelligenz, und ohne diese Einigkeit ist sie schwierig zu messen. Tatsächlich hat es schon erhitzte Diskussionen über die häufigste Methode dafür – den Intelligenzquotienten oder IQ-Test – gegeben.
Das Wesen von maschineller Intelligenz ist nicht weniger heikel. Doch Psychologen und Informatiker haben keine andere Wahl, als sich damit auseinanderzusetzen, denn intelligente Maschinen werden häufiger und leistungsfähiger.
Intelligenz: Mensch vs. Maschine
Das wiederum wirft eine Reihe von Fragen auf, etwa: Wie intelligent sind diese Maschinen und wie gut schneiden sie im Vergleich mit Menschen ab? Erste Antworten darauf liefert jetzt die Arbeit von Feng Liu an der Chinese Academy of Sciences in Peking und Kollegen: Die Forscher haben einen Intelligenztest entwickelt, der auf Menschen wie Maschinen anwendbar sein soll, und mit seiner Hilfe eine Intelligenz-Rangliste für Assistenten wie Google Assistant oder Siri erstellt.
Der Test basiert auf etwas, das die Forscher als "Standard-Intelligenzmodell" bezeichnen. Nach diesem neuen Modell müssen Systeme eine Möglichkeit haben, Daten aus der Außenwelt zu beziehen. Sie müssen in der Lage sein, diese Daten in eine Form umzuwandeln, die sie verarbeiten können. Sie müssen dieses Wissen auf innovative Weise nutzen. Und sie müssen das neu erworbene Wissen zurück in die Welt um sie herum speisen können.
Daten in den Griff bekommen
Letztlich bedeutet das: Daten sammeln, sie in den Griff bekommen, kreativ damit umgehen und eine Ausgabe produzieren. "Wenn ein System diese Eigenschaften hat, kann es als Standard-Intelligenzsystem bezeichnet werden", schreiben Feng und Kollegen.
Der von ihnen entwickelte Test soll die Fähigkeiten von Maschinen (und eben Menschen) in all diesen Punkten messen. An dieser Stelle wird das Projekt allerdings etwas unklar: Die Forscher erklären nicht, wie ihr Test genau aussieht.
Siri als Letzte auf der Rangliste
Allerdings geben sie an, schon seit dem Jahr 2014 digitale Assistenten von Google, Baidu, Sogou, Apple und Microsoft sowie Menschen damit zu testen, und haben auf dieser Grundlage eine gemischte Rangliste erstellt.
Deren neueste Version – aus dem Test 2016 – sieht wie folgt aus:
1. Mensch, 18 Jahre alt – 97
2. Mensch, 12 Jahre alt – 84,5
3. Mensch, 6 Jahre alt – 55,5
4. Google – 47,28
5. Duer von Baidu – 37,2
6. Baidu – 32,92
7. Sogou – 32,25
8. Bing – 31,98
9. Xiaobing von Microsoft – 24,48
10. Siri von Apple – 23,94
Nach diesen Zahlen ist also schon ein sechsjähriger Mensch besser als die modernsten Digitalassistenten, in diesem Fall der von Google. Apple wiederum scheint sich mit Siri allen seinen Assistenten-Konkurrenten geschlagen geben zu müssen.
Google-Assistent auf dem Vormarsch
Ein wichtiger Punkt ist dabei allerdings, dass sich die Intelligenz der Maschinen rapide verbessert. Im Jahr 2014 war der Google-Assistent bei dem Test noch auf einen Wert von nur 26,4 gekommen. Mit 47,28 lag er dann zwei Jahre später schon nah an einem Sechsjährigen. In der Zwischenzeit hat Google weitere Verbesserungen vorgenommen, so dass es spannend sein wird, die Ergebnisse der Testrunde in diesem Jahr zu erfahren.
Allerdings müsste die Methode der Forscher noch überzeugender werden. Zwar ist nachvollziehbar, dass sie keine genauen Angaben zu ihrem Test machen wollen, denn dann wäre es leicht, Systeme exakt darauf abzustimmen. Auf der anderen Seite lässt sich die Aussagekraft eines Tests, dessen Funktionsweise unbekannt ist, schlecht einschätzen.
Vielleicht sollten Feng und Kollegen zumindest einige Details veröffentlichen, zum Beispiel eine Auswahl ihrer Fragen. Wenn sie sich dazu nicht durchringen, dürfte ihre Arbeit weiter skeptisch gesehen werden.
()
