Gute Vorhersagen sind Übungssache
Wie lassen sich Prognosen zu politischen oder wirtschaftlichen Themen verbessern? Der US-Psychologe Philip E. Tetlock hat diese Frage systematisch untersucht.
Philip E. Tetlock
Mit den richtigen Methoden können Laien deutlich bessere Vorhersagen machen als Experten, sagte der US-Psychologe Philip E. Tetlock in einem Interview mit dem Magazin Technology Review (aktuelle Ausgabe 8/2016 jetzt am Kiosk oder hier zu bestellen).
Affen, Pfeile, Dartscheibe
Berühmt wurde Tetlock mit seiner Aussage aus einer früheren Studie, wonach politische Experten im Schnitt so treffsicher seien wie Schimpansen, die mit Pfeilen auf Dartscheiben werfen. In einer aktuellen Untersuchung wollte er nun gemeinsam mit seiner Frau Barbara Mellers herausfinden, wie sich Prognosen verbessern lassen. Anlass war ein Wettbewerb der "Intelligence Advanced Research Projects Agency" (IARPA). Dabei ging es um überprüfbare Fragen mittlerer Schwierigkeit mit einem Horizont von drei bis zwölf Monaten, zum Beispiel: "Wird ein Ausbruch der Vogelgrippe in China in den kommenden sechs Monaten mehr als zehn Menschenleben fordern?" Als Benchmark dienten Schwarmintelligenz und Prognosemärkte. Für die Teilnahme am IARPA-Turnier rekrutierten Tetlock und Mellers 3200 Freiwillige, die online ihre Prognosen abgeben konnten.
Einige zufällig ausgewählte Teilnehmer fassten sie zu Gruppen zusammen, die online ihre Argumente austauschen konnten. Außerdem identifizierten die Forscher die Top-Talente ("Superforecaster") unter den Teilnehmern. Deren Vorhersagen wurden stärker gewichtet und "schärfer" gemacht, also näher an null oder an hundert Prozent herangerückt.
Das Ergebnis: "Teams waren im Schnitt 23 Prozent besser als Individuen", erläutert Tetlock. "Als wir die Superforecaster zu eigenen Teams zusammengefasst haben, verbesserten sich deren Leistungen noch einmal um 50 Prozent. Teams aus normalen Teilnehmern waren 10 Prozent besser als die Schwarmintelligenz. Prognosemärkte waren 20 Prozent besser als normale Teams. Und Superteams waren 15 bis 30 Prozent besser als Prognosemärkte."
"Gute Vorhersagen trainierbar"
Für Behörden, Unternehmen oder andere Organisationen, die ihre eigenen Prognosen verbessern wollen, hat Tetlock ein paar einfache Ratschläge bereit: "Setzen Sie ein System auf, um die Trefferquote nachzuverfolgen. So findet man heraus, wer die besten Forecaster sind und wie sie arbeiten." Dabei sei es wichtig, komplexe Themen in überprüfbare Fragen zu übersetzten. "Das ist eine Kunst für sich", beteuert Tetlock.
Gute Vorhersagen ließen sich durchaus trainieren, meint Tetlock. Er empfiehlt: „Nehmen Sie an Wettbewerben teil, dokumentieren Sie Ihre Trefferquote, und haben Sie Geduld. Lassen Sie sich nicht entmutigen, wenn Sie eine Prognose vermasselt haben, weil sie sehr oft etwas vermasseln werden. Die meisten Leute sind es nicht gewohnt, Wahrscheinlichkeiten einzuschätzen, deshalb müssen sie beharrlich am Ball bleiben.“ Einen Prognosewettbewerb für Jedermann hat Tetlock selbst ins Leben gerufen: Die "Good Judgement Open". (grh)
