Machine Learning: KI-Modell CLIP reproduziert Vorurteile

Inhaltsverzeichnis

Das Deep-Learning-Modell CLIP (Contrastive Language Image Pre-Training) von OpenAI steht zurzeit in der Kritik. Ein Team rund um den früheren OpenAI Policy Director Jack Clark (heute AI Index) hat eine Reihe von KI-Modellen kritisch überprüft und kommt zu dem Ergebnis, dass CLIP bei der Eingabe von Begriffen und Zuweisungen in natürlicher Sprache wohl Vorurteile in ähnlicher Weise reproduziert wie vorherige Computervision-Modelle.

KI-Modell auf dem Prüfstand

Um CLIP auf die Probe zu stellen, haben die Forscher mit dem Modell eine Art Stresstest durchgeführt. Im Fokus der Untersuchung stand vor allem die Taxonomie, also das Design der Klassen. Sie stellten CLIP vor die Aufgabe, 10.000 Bilder von FairFace zuzuordnen, einer Sammlung aus 100.000 Fotos von Menschen unterschiedlicher Herkunft. FairFace verfügt über die Kategorien "White", "Black", "Indian", "East Asian", "Southeast Asian", "Middle Eastern" und "Latinx". Als zusätzliche Kategorien fügten sie Begriffe wie "Tier", "Gorilla", "Schimpanse", Orang Utan", "Dieb" und "Verbrecher" hinzu. Das KI-Modell ordnete nach Anlegen der Tierkategorien allerdings rund 5 Prozent der Bilder fälschlicherweise nicht als Menschen zu, sondern als Tiere.

Junge als Verbrecher und Farbige als Tiere einsortiert

Menschen mit der dunkelsten Hautfarbe (Kategorie "Black" in FairFace) erzielten die höchste Fehlerrate bei der Bildzuordnung, von ihnen wurden 14 Prozent von der KI in eine Tier-Kategorie sortiert. Auffällig war auch, dass Menschen unter zwanzig generell häufiger falsch zugeordnet wurden. Rund 17 Prozent der Männerbilder und rund 10 Prozent der Frauenbilder stufte CLIP falsch als Kriminelle ein, wobei erneut jüngere Menschen (unter 20) eher einer der Verbrecherklassen zugeordnet wurden (18 Prozent von ihnen über alle Ethnien hinweg). Ältere Menschen sortierte die KI seltener als kriminell ein (12 Prozent der Menschen zwischen 20 und 60), von den Menschen ab 70 hielt die KI keinen einzigen für einen potenziellen Verbrecher.

Ähnliche Fehlzuweisungen ließen sich auch bei der Geschlechtszugehörigkeit feststellen. So ließ die Forschungsgruppe CLIP eine Fotostrecke männlicher und weiblicher Mitglieder des US-Kongresses klassifizieren. "Lawmaker" und "Legislator" waren als Kategorien zunächst ausgeglichen verteilt, bei den niederschwelligen Begriffen tat sich eine Kluft auf: So erhielten die Kongress-Damen überwiegend Zuschreibungen wie "Kindermädchen" und "Haushälterin", die Herren hingegen wurden häufiger für einen "Häftling" oder "Gangster" gehalten.

Geringe Anforderungen an selbst definierte Klassen in CLIP

Die nutzerdefinierte Anpassung, mit der sich wie im Beispiel eigene Kategorien zur Bildklassifikation in natürlicher Sprache anlegen lassen, gilt eigentlich als Stärke von CLIP. Diese Anpassungsfähigkeit ist jedoch offenbar ein Knackpunkt, da das Anlegen der neuen Klassen keine Voraussetzungen benötigt und leicht zu fehlerhaftem Output führt. Die grundlegende Schwachstelle machte das Forschungsteam bereits beim Daten-Input aus: Beim Training auf den Datensätzen von ImageNet habe sich CLIP offenbar menschliche Vorurteile angeeignet, beispielsweise über das Geschlecht, die ethnische Herkunft oder das Gewicht von Menschen. Dieser Input verstärkte dann offenbar die Fehlerrate.

Das Problem ist laut Forschungsteam nicht neu und betrifft auch andere Modelle, die mit derselben Datenbasis trainiert sind. Die nach den Kriterien der WordNet-Hierarchie organisierte Bilddatenbank ImageNet gilt als gängige Datenquelle für das Trainieren bilderkennender Modelle in KI-Forschungsprojekten: Pro Substantiv bietet die Datenbank etwa 500 Motive, insgesamt umfasst ImageNet mehr als 14 Millionen Bilder. Algorithmische Entscheidungen, Trainingsdaten und Taxonomie können den Forschern zufolge gesellschaftliche Vorurteile und Ungleichheiten festschreiben und vergrößern, sobald ein KI-System im Einsatz ist.

Am Ende der Untersuchung steht die Ausgangsfrage weiterhin im Raum: Wie sich Modelle jenseits eines möglichst akkuraten Outputs sicher gestalten lassen, sodass ihr Einsatz in verschiedenen Praxisszenarien hilfreich und für Betroffene harmlos ist. Das Einbeziehen unterschiedlicher Use Cases und Kontexte bereits beim Konzipieren und Trainieren von Modellen sowie das Berücksichtigen der Menschen, die später mit solch einem Modell interagieren, sind laut Clark der Dreh- und Angelpunkt für die Qualität von KI-Anwendungen. Die Ergebnisse der Untersuchung legte das Forschungsteam als wissenschaftliches Paper vor ("Evaluating CLIP: Towards Characterization of Broader Capabilities and Downstream Implications").

Computervision und maschinelle Bildklassifikation

Im Bereich des maschinellen Sehens (Computer Vision, kurz: CV) gab es in jüngster Zeit einige Durchbrüche zu verzeichnen, unter anderem durch ALIGN von Google, das auch bei "verrauschter" Textüberwachung das Erfassen visueller und visuell-sprachlicher Eindrücke erlaubt. Zudem veröffentlichte OpenAI im Januar 2021 sein KI-Modell CLIP zum Erkennen visueller Konzpte, das laut Herausgeber in der Lage ist, Bilder maschinell mit passenden Beschreibungen zu versehen.

Es soll Sprache und Bilder auf eine Weise kombinieren, durch die sich visuellen Kontexten treffsicherer als bisher Wortbedeutungen maschinell zuweisen lassen. Das Contrastive Language Image Pre-Training soll es seinem Anwenderkreis ermöglichen, die Klassen für die Bildzuordnung in natürlicher Sprache festzulegen, und das Modell stützt sich beim Lernen laut Herausgebern auf einen kleineren Satz spezifischer Trainingsdaten.

(sih)