Spracherkennung wird zum Problem für Minderheiten
In den USA kommen einige Chatbots und Voice-Schnittstellen nicht mit Dialekten zurecht, die Afroamerikaner sprechen. Algorithmischer Bias wird zunehmend zum Problem.
- Will Knight
Es kommt nicht selten vor, dass Menschen aufgrund des Akzentes einer anderen Person Vorurteile aufbauen. Bei KI-Spracherkennungssystemen, die auf Prinzipien des maschinellen Lernens aufbauen, kann das ebenfalls vorkommen, wie Forscher entdeckt haben. Das wiederum könnte in Zukunft zur Diskriminierung von Minderheiten durch Maschinen führen.
Schon bei der Verwendung von Sprachassistenten wie Alexa oder Siri ist das Problem bekannt: Spricht man in einem Dialekt, sinkt die Chance, fehlerfrei erkannt zu werden. Das liegt daran, dass diese Geräte Verfahren zur Erkennung natürlicher Sprache verwenden, die mit Beispieldaten trainiert wurden. Und fehlt es diesen Beispieldaten an genügend Material zu einem bestimmten Akzent, schlägt die Erkennung schlicht und einfach fehl oder wird zumindest ungenau.
Die Problematik ist offenbar verbreiteter und schwieriger als bislang angenommen. Systeme zur Erkennung natürlicher Sprache stecken nämlich nicht nur in Alexa und Co., sondern auch in automatischen Telefonsystemen oder Chatbots. Sie werden zudem verwendet, um die öffentliche Meinung aus dem Web oder Aktivitäten in sozialen Netzwerken abzuleiten oder schriftliche Dokumente nach nützlichen Informationen zu durchforsten. Es ist also durchaus denkbar, dass Dienste und Produkte, die Spracherkennungsverfahren nutzen, schon heute diskriminierend arbeiten – zumindest bei bestimmten Personengruppen.
Brendan O'Connor, Juniorprofessor an der University of Massachusetts in Amherst, hat zusammen mit seiner Masterstudentin Su Lin Blodgett die Verwendung von Sprache beim Kurznachrichtendienst Twitter untersucht. Mittels demographischer Filter sammelten die Wissenschaftler knapp 60 Millionen Tweets ein, die mit einer hohen Wahrscheinlichkeit Umgangssprache und Slangbegriffe enthielten, die häufig von Afroamerikanern verwendet werden. Dann wurden verschiedene Werkzeuge zur Verarbeitung natürlicher Sprache mit diesem Datensatz getestet, um herauszufinden, wie dieser behandelt wird. Dabei kam es zu erstaunlichen Ergebnissen: So klassifizierte ein populäres Tool die Tweets schwarzer Amerikaner als die "Dänisch" – und zwar mit einem hohen Eigenzuverlässigkeitswert.
"Wenn man auf Twitter nach der Meinung der Menschen über einen bestimmten Politiker sucht und nicht einmal berücksichtigt, was Afroamerikaner zu sagen haben, scheint mir das durchaus problematisch", kommentiert O'Connor.
Untersucht wurden außerdem mehrere beliebte Softwareschnittstellen zur Erkennung von Textbedeutung und Textstimmung, die auf maschinellem Lernen basieren. Auch diese Systeme hatten mit dem Datensatz zu kämpfen. "Wenn man einen Sentiment Analyzer von irgendeiner Firma kauft, weiß man doch gar nicht, welchen Bias er möglicherweise hat." Es fehle an Auditing-Maßnahmen und Wissen über diese Problematik. Und laut der Amherst-Forscher betrifft das Thema auch andere Systeme, die Sprache verwenden, darunter Suchmaschinen.
Die mögliche Diskriminierung durch KI-Algorithmen wird erst nach und nach als Forschungsfeld erkannt. Dabei sind sie längst an wichtigen Stellen im Einsatz. Ein Beispiel ist Compass, ein System, das in den USA dazu verwendet wird, vorab auszuwählen, ob ein Strafgefangener für eine Bewährung in Frage kommt. Wie dieser Algorithmus arbeitet, ist unbekannt, da er nicht offenliegt – es gibt aber Vorwürfe von Forschern, dass er einen Bias gegen schwarze Verurteilte haben könnte. Hinzu kommen andere Bereiche des täglichen Lebens, etwa im Finanz-, Gesundheits- und Bildungssystem.
Die Amherst-Forscher präsentierten ihre Ergebnisse auf einem Workshop, in dem es spezifisch um KI-Bias ging. Aktuell ist die Konferenz namens "Fairness and Transparency in Machine Learning" (FAT ML) noch Teil einer größeren Veranstaltung zur Datenwissenschaft. Im kommenden Jahr soll sie aber erstmals für sich alleine stehen. Solon Barocas, Juniorprofessor an der Cornell University und Mitbegründer von FAT ML, glaubt, der Bereich wachse stetig und sehe ein zunehmendes Forschungsinteresse.
Shared Goel von der Stanford University, der algorithmische Befangenheit im Bereich der öffentlichen Ordnung untersucht, glaubt, dass das Problem nicht immer glasklar ist. Es sei womöglich zu simplistisch, Algorithmen diskriminierend zu nennen, weil sie nur so arbeiteten, wie vorgesehen. Sie lieferten in ihrem Zusammenhang korrekte Vorhersagen und repräsentierten nur einen breiteren Bias in der Gesellschaft. "Es wäre besser, zunächst zu beschreiben, was ein Algorithmus tun soll und warum – und dann zu entscheiden, was wir von ihm wollen."
(bsc)
