Computer gegen Viertklässler

Damit Künstliche Intelligenz noch nützlicher werden kann, braucht sie gesunden Menschenverstand. Mit Standardtests für Schulkinder will ein US-Forscher den Fortschritt in diesem Bereich messen und letztlich beschleunigen.

In welcher Jahreszeit ist das Fell eines Hasen am dicksten? Ein Computerprogramm namens Aristo kennt die Antwort auf diese Frage, denn es hat in einem Schulbuch für die vierte Klasse gelesen, dass Bären im Winter einen dickeren Pelz bekommen, und es weiß, dass auch Hasen Säugetiere sind. Derzeit bereitet es sich auf die Standard-Prüfung für Naturwissenschaften im US-Bundesstaat New York vor.

Entwickelt wird Aristo von Forschern am Allen Institute for Artificial Intelligence in Seattle, die Maschinen ein gewisses Maß an Alltagswissen über die Welt verleihen wollen, also so etwas wie gesunden Menschenverstand. CEO des Instituts ist Oren Etzioni. Nach seinen Worten lassen sich die Fortschritte der "digitalen Schüler" am besten über Tests für normale Schulkinder überprüfen. Deshalb möchte er auch andere KI-Forscher dazu bringen, mit standardisierten Schultests zu arbeiten.

"Auf diese Weise können wir unsere Fortschritte bei KI und natürlicher Sprache auf eine objektive Grundlage stellen", erklärt Etzioni. Wenn es eine Möglichkeit gibt, die Ergebnisse von unterschiedlichen Ansätzen direkt zu vergleichen, dürfte es einfacher werden, die überzeugendsten Konzepte zu identifizieren und so schneller voranzukommen, sagt er.

Im Oktober will das Allen Institute einen Wettbewerb starten, bei dem Forscher mit Software antreten, die Naturwissenschaftsfragen aus der achten Klasse beantwortet. Ausgerichtet wird die Veranstaltung auf der Datenwissenschaft-Website Kaggle; auf die Teilnehmer warten hier Tausende von Übungsfragen, mit denen sie ihre Software trainieren können. Der Schöpfer des Programms mit der höchsten Punktzahl bei unbekannten Fragen bekommt ein Preisgeld von 50.000 Dollar.

Bislang würde Aristo nicht einmal den Wissenschaftstest für die vierte Klasse bestehen; dazu bräuchte die Software mindestens 65 Prozent der Punkte. Noch aber kann sie nur Mulitple-Choice-Fragen beantworten, die etwa zwei Drittel des Tests ausmachen – Fragen ohne Schaubilder beantwortet sie laut Etzioni zu etwa 75 Prozent richtig, solche mit Grafiken zu 45 Prozent. Bei Achte-Klasse-Fragen im Multiple-Choice-Format und ohne Bilder kommt Aristo auf 63 Prozent.

Auf der Website des Allen Institute kann man sich anschauen, wie Aristo ausgewählte Viertklässler-Fragen beantwortet. Dabei benutzt die Software einen Schlussfolgerungsalgorithmus, bei dem sie Wissen aus Lehrbüchern und dem Web einsetzt.

Eine Möglichkeit zu finden, Software auch nur einen Hauch von Menschenverstand zu verleihen, ist eine bedeutende Herausforderung im Bereich der Künstlichen Intelligenz – und sie könnte dazu führen, dass Computer auf viele neue Arten nützlich werden. "Wenn wir Systeme bauen wollen, die robust sind und mit denen Menschen natürlicher zusammenarbeiten können, werden sie diese Fähigkeiten brauchen", sagt Etzioni.

Andere führende Forscher teilen diese Ansicht, darunter die Experten im KI-Labor von Facebook, wo an virtuellen Assistenten gearbeitet wird, die einfache Konversation beherrschen sollen. Einer der Gründe dafür, warum bisherige KI-Assistenten wie Siri von Apple oder Cortana von Microsoft so begrenzte Fähigkeiten haben, ist, dass sie ohne Alltagswissen auskommen müssen. Als Reaktion auf Anweisungen sehen sie lediglich in einer Sammlung von einprogrammierten Regeln nach.

Ernest Davis, Professor an der New York University, teilt Etzionis Meinung, dass eine Methode zur Messung des Menschenverstands von Maschinen das Feld voranbringen könnte. Allerdings hält er Schultests nicht für die richtige Wahl.

Mit Tests für Kinder zu arbeiten, hat nach seinen Worten den Vorteil, dass Forscher den Maßstab für ihren Bereich nicht aus Versehen zu bescheiden wählen können. Andererseits seien Kinder sehr viel besser als Maschinen darin, die Welt zu verstehen, so dass für sie entwickelte Tests nicht dafür geeignet seien, die wichtigsten Fortschritte bei intelligenter Software zu erfassen.

"Was für Menschen schwierig ist, unterscheidet sich sehr von dem, was für Maschinen schwierig ist", erklärt Davis, der ebenfalls daran arbeitet, Software verständig zu machen. "Standardisierte Tests für Menschen haben nicht sehr viel mit den Problemen zu tun, die für Computer schwierig sind."

Besser wäre es seiner Ansicht nach deshalb, spezielle Prüfungsfragen für Maschinen zusammenzustellen. Ein Beispiel von ihm spricht dafür, dass eine Wissenschaftsprüfung für Maschinen einem Viertklässler tatsächlich ziemlich einfach vorkommen könnte: "Gestern ist Sallys Lieblingskuh gestorben. Die Kuh wird wahrscheinlich wieder leben... a) morgen, b) in einer Woche, c) in einem Jahr, d) in einigen Jahren oder e) nie mehr".

Etzioni hält dem entgegen: Zwar lasse sich grundlegender gesunder Menschenverstand mit Schulaufgaben nicht direkt testen, implizit aber sei er sehr wohl erforderlich, um die Fragen zu verstehen. Nur bei für Menschen formulierten Fragen könne man wirklich sagen, dass wir die Maschinen an unseren eigenen Fähigkeiten messen. "Menschen und Maschinen auf dieselbe Basis zu stellen, ergibt Sinn", erklärt er.

(sma)