Vortrainierte Sprachmodelle wie Wortvektoren können gesellschaftliche Stereotypen enthalten, was dazu führen kann, dass Software diskriminierende Entscheide trifft. Basierend auf den Resultaten ihrer ersten Studie haben Forschende vom IDAS der Berner Fachhochschule Technik & Informatik nun weitere Stereotypen untersucht, welche sich in Wortvektoren verstecken. Die Resultate wurden im Fachjournal Frontiers in Big Data publiziert.

Natural Language Processing (oder auf Deutsch oft auch Computerlinguistik genannt) ist ein Teilbereich der Informatik, welcher sich mit der automatisierten Verarbeitung von menschlicher Sprache auseinandersetzt, in Text- oder Sprachdaten.

Neben den vielen Möglichkeiten solcher Technologien gibt es jedoch auch Herausforderungen, insbesondere bezüglich der Fairness solcher Systeme. Beispielsweise sind gängige Anwendungen zur automatischen Übersetzung von Texten voller gesellschaftlicher Stereotypen. Es wurde gezeigt, dass «er» assoziiert wird mit dem Adjektiv stark oder dem Beruf Zahnarzt, und «sie» mit dem Adjektiv hübsch oder dem Beruf Dentalhygienikerin (Republik, 2021).

Bias in Wortvektoren

Doch wie kommt es, dass Software solche Entscheide trifft? Um das zu verstehen, führen wir das Konzept von Wortvektoren (Word Embeddings) ein. Wortvektoren sind mathematische Vektoren, welche Wörter repräsentieren. Basierend auf mathematischen Operationen kann festgestellt werden, ob beispielsweise zwei Wörter inhaltlich ähnlich sind (nämlich dann, wenn die entsprechenden Wortvektoren nahe beieinander sind).

Um vorhandene Stereotypen und Vorurteile in Wortvektoren messbar zu machen, wurde ein statistischer Test entwickelt, die sogenannte WEAT Methode (Caliskan et al., 2017). Die Methode basiert auf dem Implicit Association Test (IAT) (Greenwald et al., 1998), welcher im Bereich der Psychologie Anwendung findet. Beim IAT werden bei Menschen implizite Vorurteile nachgewiesen. Die menschlichen Testpersonen müssen Begriffe zueinander assoziieren, und basierend auf der Reaktionszeit kann festgestellt werden, ob ein impliziter Bias vorhanden ist. Analog zu der Reaktionszeit der Menschen im IAT verwendet die WEAT Methode die Distanz zwischen den Wortvektoren zweier Wörter.

Kulturelle Unterschiede

Viele Studien setzen sich mit englischsprachigen Wortvektoren auseinander. Wie bereits in einem vorherigen Artikel ausgeführt, hat Autorin Mascha Kurpicz-Briki die WEAT Methode auf deutsche und französische Wortvektoren angewendet, und konnte nachweisen, dass auch diese einen Bias enthalten (Kurpicz-Briki, 2020). Insbesondere wurden Anzeichen gefunden, dass es kulturelle Unterschiede gibt, in welcher Form der Bias vorkommt.

Eine neue Studie der Autor*innen untersuchte nun auch noch italienische und schwedische Wortvektoren. Auch dort war ein Bias bezüglich der bekannten Experimente vorhanden, wenn auch (analog zu Deutsch und Französisch ) nicht alle Formen des Bias gleichermassen vorhanden waren. Dies verstärkt die Hypothese, dass die Art und Weise, wie ein Stereotyp in Wortvektoren vorkommt, in verschiedenen Sprachen und Kulturen unterschiedlich sein kann.

Bias auf Grund der Namensherkunft

In der neuen Studie wurde ausserdem untersucht, ob es einen Bias gegen bestimmte Migrationsgruppen in deutschsprachigen Wortvektoren gibt. Das originale Experiment wurde basierend auf afro-amerikanischen und europäisch-amerikanischen Namen durchgeführt (Caliskan et al., 2017). Es konnte festgestellt werden, dass ein statistisch signifikanter Unterschied bestand in Bezug auf positive und negative Wörter. In der neuen Studie wurde das Experiment auf die Schweiz angepasst. Es wurden dafür die Wortvektoren der häufigsten in der Schweiz vorkommenden Namen (z.B. Peter, Daniel, Anna, Ursula) mit den häufigsten Namen aus den Herkunftsländern einiger grosser Migrationsgruppen in der Schweiz (z.B. Egzon, Mehmet, Fatma, Aferdita) verglichen. Es konnte aufgezeigt werden, dass auch in den deutschsprachigen Wortvektoren ein statistisch signifikanter Unterschied zwischen diesen beiden Namensgruppen besteht (siehe WEAT5-origin in Abbildung 1 für die komplette Liste).

Abbildung: Die Experimente, mit welchen ein Bias auf Grund der Namensherkunft in deutschsprachigen Wortvektoren festgestellt wurde (Kurpicz-Briki & Leoni, 2021).

Es wurde ausserdem untersucht, ob die Wortvektoren auch einen Bias bezüglich beruflicher Begriffe enthalten. Es wurden daher die zwei Namensgruppen mit positiven (z.B. Führungskraft, beruflich) und negativen (z.B. versagen, Abbruch) Wörtern bezüglich der beruflichen oder finanziellen Situation in Verbindung gebracht. Das Experiment wurde für Frauen- (WEAT6-origin-f) und Männernamen (WEAT6-origin-m) separat durchgeführt, die genauen Wortlisten sind in Abbildung 1 dargestellt. In beiden Fällen konnte ein statistisch signifikanter Unterschied gezeigt werden.

Konsequenzen aus Bias in Wortvektoren

Was passiert, wenn bestimmte Gruppen der Bevölkerung in Wortvektoren anders dargestellt werden? Welche Auswirkungen hat dies auf Software, welche diese Wortvektoren verwendet? Diese Fragen sind noch nicht vollumfassend geklärt und werden in weitergehender Forschung untersucht. Es muss sichergestellt werden, dass diese Stereotypen unserer Gesellschaft, welche ihren Weg bis in die Wortvektoren gefunden haben, nicht durch Softwareanwendungen repliziert oder gar verstärkt werden. Nur so kann verhindert werden, dass automatische Entscheidungen unfair sind.

Referenzen

1. (Republik, 2021) https://www.republik.ch/2021/04/19/sie-ist-huebsch-er-ist-stark-er-ist-lehrer-sie-ist-kindergaertnerin
2. (Caliskan et al., 2017) Aylin Caliskan, Joanna J Bryson, and Arvind Narayanan. 2017. Semantics derived automatically from language corpora contain human-like biases. Science, 356(6334):183–186.
3. (Greenwald et al., 1998) Anthony G Greenwald, Debbie E McGhee, and Jordan LK Schwartz. 1998. Measuring individual differences in implicit cognition: the implicit association test. Journal of personality and social psychology, 74(6):1464.
4. (Kurpicz-Briki, 2020) Mascha Kurpicz-Briki. 2020. Cultural differences in bias? origin and gender bias in pre-trained german and french word embeddings. 5th SwissText & 16th KONVENS Joint Conference 2020, Zurich, Switzerland.
5. (Kurpicz-Briki & Leoni, 2021) Kurpicz-Briki, M. and T. Leoni (2021). «A World Full of Stereotypes? Further Investigation on Origin and Gender Bias in Multi-Lingual Word Embeddings». Research Topic: Training Big Data: Fairness and Bias in the Digital Age, Frontiers in Big Data, 04/2021.

Zur Studie

Direktlink zum Paper: https://www.frontiersin.org/articles/10.3389/fdata.2021.625290/abstract