Abgewertet vom Algorithmus
Weil die Abschlussprüfungen wegen Covid-19 ausfielen, sollte ein Algorithmus ermitteln, ob Schüler in Großbritannien an die Unis dürfen. Das Ergebnis war abzusehen.
Als Großbritannien sich zum ersten Mal daranmachte, eine Alternative zum Schulabschluss zu finden, schien die Idee völlig vernünftig. Covid-19 hatte jede Möglichkeit vereitelt, dass die Schüler die Prüfungen persönlich ablegen. Dennoch wollte die Regierung ihnen eine Möglichkeit geben, sich zum Studium zu bewerben.
Eines ihrer Hauptanliegen war die nötige Fairness. Die Lehrer der Abschlussklassen hatten zwar auf Basis der bisherigen Leistungen abgeschätzt, welche Noten ihre Schüler bekommen hätten, wenn die Prüfungen stattgefunden hätten. Frühere Studien hatten allerdings gezeigt, dass solche Vorhersagen stark verzerrt sein können, je nach Alter, Geschlecht und ethnischer Zugehörigkeit der Schüler. Nach diversen Beratungen mit Experten entschied sich die zuständige Behörde, das Office of Qualifications and Examinations Regulation (Ofqual), einen Algorithmus zu verwenden, der solche Verzerrungen beseitigen sollte. Von da an ging alles furchtbar schief.
Denn das Ofqual musste nach der Absage der Prüfungen zwei sehr unterschiedliche Ziele erfüllen. Das erste Ziel bestand darin, eine „Inflation guter Noten“ zu vermeiden und die Benotungen vergleichbar zu machen. Das zweite Ziel war, die Studenten so genau wie möglich zu beurteilen, und zwar auf eine Weise, die möglichst viel aussagen sollte über die Befähigung für ein Universitätsstudium. Auf Anweisung des zuständigen Staatssekretärs räumte sie dem ersten Ziel Priorität ein. Um das zu erreichen, wählte sie ein statistisches Modell, das für 2020 eine Verteilung der Prüfungsergebnisse berechnen sollte, die der Verteilung von 2019 entsprechen würde.
Das Ergebnis war desaströs: Knapp 40 Prozent der Schüler erhielten am Ende Noten, die gegenüber den Prognosen ihrer Lehrer so viel schlechter waren, dass sie das ihren Studienplatz an der Universität zu kosten drohte. Eine Analyse des Algorithmus ergab zudem, dass er Schülerinnen und Schüler aus der Arbeiterklasse und aus benachteiligten Gemeinden unverhältnismäßig stark heruntergestuft, die Noten von Schülern exklusiver Privatschulen jedoch öfter heraufgesetzt hatte. Am 16. August versammelten sich Hunderte Betroffene vor dem Gebäude des britischen Bildungsministeriums in London und skandierten „Scheiß auf den Algorithmus“, um gegen die Ergebnisse zu protestieren. Am nächsten Tag musste Ofqual seine Entscheidung rückgängig machen. Die Schüler erhalten nun entweder die vorhergesagte Punktzahl ihres Lehrers oder die des Algorithmus – je nachdem, welche höher ist.
Das Debakel ist ein Lehrbuchbeispiel für algorithmische Diskriminierung, und das Scheitern war vorhersagbar. Denn der Algorithmus berücksichtigte nur zum Teil die bisherigen Leistungen jedes einzelnen Schülers, aber auch die Verteilung der Noten an der gesamten Schule. Das konnte nur dazu führen, dass herausragende Einzelne zugunsten eines konsistenten Durchschnitts heruntergestuft werden mussten. Die bittere Wahrheit ist, dass Algorithmen defekte Systeme nicht reparieren können. Sie erben die Fehler des Systems, in dem sie eingesetzt werden.