Diskriminierende KI: Wissenschaftler finden Chatbots, Alexa und Co. nicht divers genug

Spracherkennungssysteme und Chatbots basieren heutzutage zumeist auf maschinellem Lernen – und dessen Ergebnisse hängen stark vom Inputmaterial ab, mit dem die Technik trainiert wurde. Das hat unter Umständen diskriminierende Folgen, berichtet Technology Review in seiner Online-Ausgabe ("Spracherkennung wird zum Problem für Minderheiten").

Brendan O'Connor, Juniorprofessor an der University of Massachusetts in Amherst, hat zusammen mit seiner Masterstudentin Su Lin Blodgett die Verwendung von Sprache beim Kurznachrichtendienst Twitter untersucht. Mittels demographischer Filter sammelten die Wissenschaftler knapp 60 Millionen Tweets ein, die mit einer hohen Wahrscheinlichkeit Umgangssprache und Slangbegriffe enthielten, die häufig von Afroamerikanern verwendet werden. Dann wurden verschiedene Werkzeuge zur Verarbeitung natürlicher Sprache mit diesem Datensatz getestet, um herauszufinden, wie dieser behandelt wird. Dabei kam es zu erstaunlichen Ergebnissen: So klassifizierte ein populäres Tool die Tweets schwarzer Amerikaner als "Dänisch" – und zwar mit einem hohen Eigenzuverlässigkeitswert.

"Wenn man auf Twitter nach der Meinung der Menschen über einen bestimmten Politiker sucht und nicht einmal berücksichtigt, was Afroamerikaner zu sagen haben, scheint mir das durchaus problematisch", kommentiert O'Connor.

Untersucht wurden außerdem mehrere beliebte Softwareschnittstellen zur Erkennung von Textbedeutung und Textstimmung, die auf maschinellem Lernen basieren. Auch diese Systeme hatten mit dem Datensatz zu kämpfen. "Wenn man einen Sentiment Analyzer von irgendeiner Firma kauft, weiß man doch gar nicht, welchen Bias er möglicherweise hat." Es fehle an Auditing-Maßnahmen und Wissen über diese Problematik. Und laut der Amherst-Forscher betrifft das Thema auch andere Systeme, die Sprache verwenden, darunter Suchmaschinen.

Mehr dazu bei Technology Review Online:

• Spracherkennung wird zum Problem für Minderheiten

(bsc)