Automatische Ungerechtigkeit für einen ganzen Jahrgang britischer Schüler

Inhaltsverzeichnis

Als Großbritannien sich in diesem Sommer daran machte, eine Alternative zu seinen Schulabschluss-Prüfungen zu finden, gab es gute Gründe dafür. Die Coronavirus-Pandemie hatte jedes persönliche Erscheinen unmöglich gemacht, aber trotzdem wollte die Regierung eine Bewertung für die Zulassung zu Universitäten organisieren.

Eines ihrer Hauptanliegen dabei war Fairness. Die Lehrer hatten bereits Vorhersagen zu den Prüfungsergebnissen ihrer Schüler gemacht, aber frühere Studien hatten gezeigt, dass es dabei Verzerrungen aufgrund von Alter, Geschlecht und ethnischer Zugehörigkeit geben kann. Nach einer Reihe von Experten-Diskussionen und Konsultationen entschied sich das zuständige Office of Qualifications and Examinations Regulation (Ofqual) deshalb für einen Algorithmus. Und von da an ging alles schief.

Fast 40 Prozent der Schüler bekamen Ergebnisse, die schlechter waren als die Vorhersagen ihrer Lehrer, was sie den Studienplatz hätte kosten können. Analysen des Algorithmus zeigten zudem, dass er Schüler aus der Arbeiterklasse und aus ärmeren Gegenden besonders schlecht und Privatschüler besser bewertete. "Fuck the Algorithm", riefen Mitte August hunderte Demonstranten vor dem Bildungsministerium in London. Am nächsten Tag machte das Ofqual seine Entscheidung rückgängig. Die Schüler erhalten jetzt entweder die vorhergesagten Noten oder die vom Algorithmus – je nachdem, was höher ist.

Es war absehbar

Das Debakel ist wie ein Lehrbuchbeispiel für Diskriminierung durch Algorithmen. Dabei war leicht vorhersagbar, was passieren würde, hieß es nach den anschließenden Analysen. So wurde der Algorithmus nicht nur mit den Leistungen des jeweiligen Schülers trainiert, sondern auch mit der Gesamtleistung seiner Schule. Dass dadurch herausragende Schüler zugunsten eines sauberen Durchschnitts benachteiligt würden, war offensichtlich.

Aber die Wurzel des Problems reicht tiefer als bis zu schlechten Daten oder ungeschickter Programmierung. Die grundlegenderen Fehler wurden schon gemacht, bevor Ofqual sich überhaupt für einen Algorithmus entschied. Denn die Behörde verlor das eigentliche Ziel aus den Augen: Schülern in Zeiten der Angst den Übergang zur Universität zu erleichtern. In dieser beispiellosen Situation hätte das Prüfungssystem völlig neu gedacht werden müssen.

"Es gab einfach einen spektakulären Mangel an Fantasie", sagt Hye Jung Han, Forscherin für Kinderrechte und Technologie bei Human Rights Watch in den USA. "Sie haben schlicht die Grundlagen vieler ihrer Prozesse nicht in Frage gestellt, obwohl das wirklich nötig gewesen wäre."

Ein statistisches Modell

Grundsätzlich konnte sich das Ofqual nach der Absage der Prüfungen für zwei Richtungen entscheiden: entweder eine Noten-Inflation vermeiden und eine gewisse Standardisierung erreichen oder die Schüler so genau wie möglich bewerten. Nach einer Weisung vom Innenministerium wählte es die erste Möglichkeit. "Ich glaube wirklich, dass das Problem in diesem Moment begann", sagt Hannah Fry, Dozentin am University College London und Autorin von "Hello World: How to Be Human in the Age of the Machine". Ihrer Ansicht wurde der falsche Faktor zur Optimierung gewählt – "und dann ist es im Grunde egal, wie der Algorithmus funktioniert – er konnte gar nicht perfekt sein".

Das Ziel bestimmte komplett über die Art und Weise, wie Ofqual das Problem weiter anging – der Wunsch nach Standardisierung wurde wichtiger als alles andere. Folgerichtig entschied sich Behörde für eines der besten Standardisierungsinstrumente überhaupt, ein statistisches Modell. Es sollte eine Verteilung der Prüfungsergebnisse für 2020 erzeugen, die der von 2019 entsprach.

Hätte Ofqual das andere Ziel gewählt, wäre es ganz anders vorgegangen. Statt eines Algorithmus hätte es den Versuch gegeben, mit den Universitäten die Gewichtung von Prüfungsnoten in ihren Zulassungsverfahren passend zur neuen Situation neu festzulegen, erklärt Han. Es liege eine inhärente Ungerechtigkeit darin, das Problem so zu definieren, als würde es keine Pandemie geben: "Damit ignoriert man, was längst bekannt ist, nämlich dass die Pandemie viele digitalen Gräben im Bildungssystem aufgedeckt hat."