Wenn Algorithmen  Entscheide treffen, diskriminieren sie oftmals wegen den programmierten Voreinstellungen. Was passiert, wenn gesellschaftliche Stereotypen in Sprachmodellen versteckt sind, hat Autorin Mascha Kurpicz-Briki untersucht und die Resultate im Juni 2020 an der Fachkonferenz SwissText & KONVENS 2020 präsentiert.

Natural Language Processing (oder auf Deutsch oft auch Computerlinguistik genannt) ist ein Teilbereich der Informatik, welcher sich mit der automatisierten Verarbeitung von menschlicher Sprache auseinandersetzt, in Text- oder Sprachdaten. Typische Aufgaben bestehen darin, beispielsweise eine automatische Rechtschreib- und Grammatikkontrolle durchzuführen, automatisiert Informationen aus grossen Datenmengen zu extrahieren (Text Mining) oder die sprachliche Kommunikation mit einem Benutzer durchzuführen (z.B. Sprachsteuerung). Häufig wird maschinelles Lernen eingesetzt, um solche Herausforderungen effizient zu meistern und dem Computer ein möglichst gutes Verständnis der menschlichen Sprache zu vermitteln. Insbesondere Finessen der Sprache, wie etwa komplexe Zusammenhänge oder Ironie sind nach wie vor eine sehr herausfordernde Aufgabe für automatische Textverarbeitungen.

Neben den Möglichkeiten gibt es jedoch auch Herausforderungen, insbesondere bezüglich der Fairness solcher Systeme. Ein Beispiel ist das vielfach verwendete Google Translate, wie in Abbildung 1 dargestellt.

Abbildung 1: Bias in Google Translate (Kurpicz-Briki, 2020).

Übersetzt man «She is an engineer. He is a nurse.» in eine Sprache, wo die persönlichen Pronomen er und sie sich nicht unterscheiden (wie beispielsweise Türkisch), so muss bei der Zurückübersetzung ins Englische eine Annahme über das Geschlecht der beschriebenen Personen gemacht werden. Basierend auf dieser Annahme kommt das System zu dem Schluss, dass «He’s an engineer. She is a nurse».

Doch wie kommen Systeme zu solchen Entscheidungen? Zur Entwicklung von Anwendungen im Bereich natürlicher Sprachverarbeitung werden oft vortrainierte Modelle verwendet. Diese stehen bereits öffentlich zu Verfügung und deren Verwendung erspart das eigene Training, welches sehr zeit- und ressourcenaufwendig ist. Ein typisches solches Sprachmodell sind die sogenannten Word Embeddings. In solchen Word Embeddings werden Wörter als mathematische Vektoren dargestellt. Basierend darauf können mittels mathematischer Operationen dann inhaltliche Beziehungen zwischen den Wörtern berechnet werden. Dies ist für die automatische Verarbeitung ein grosser Vorteil, da Computer wesentlich besser mit solchen mathematischen Modellen umgehen können als mit natürlichem Text. Es können mit solchen Modellen dann «Rätsel» gelöst werden, wie beispielsweise in Abbildung 2 dargestellt.

Abb. 2: Wortbeziehungen mittels mathematischer Beziehungen auf Vektoren ermitteln (Bolukbasi et al., 2016)

Solche Methoden sind sehr hilfreich für viele verschiedene Arten von Anwendungen im Bereich automatische Textanalyse. Die encodierten Beziehungen in solchen Modellen können allerdings auch problematisch sein. Es kann einfach berechnet werden, dass «man is to computer programmer, as woman is to homemake»» (Bolukbasi et al., 2016) oder dass «man is to doctor, as woman is to nurse» (Lu et al., 2018).

Um solche in dem Sprachmodell vorhandene Stereotypen und Vorurteile messbar zu machen, wurde ein statistischer Test entwickelt, die sogenannte WEAT Methode (Caliskan et al., 2017). Die Methode basiert auf dem Implicit Association Test (IAT) (Greenwald et al., 1998), welcher im Bereich der Psychologie Anwendung findet. Beim IAT werden bei Menschen implizite Vorurteile nachgewiesen. Die menschlichen Testpersonen müssen Begriffe zueinander assoziieren, und basierend auf der Reaktionszeit kann festgestellt werden, ob ein implizites Vorurteil vorhanden ist. Analog zu der Reaktionszeit der Menschen im IAT verwendet die WEAT Methode die Distanz zwischen den Vektoren zweier Wörter im Sprachmodell. Mit Hilfe dieser Methode konnte gezeigt werden, dass oft verwendete Sprachmodelle Vorurteile gegenüber der Herkunft und des Geschlechts einer Person aufweisen. Dies wird anhand verschiedener Wortgruppen gemessen. Abbildung 3 zeigt ein Beispiel solcher Wortgruppen. In diesem Experiment wird untersucht, ob ein statistisch relevanter Unterschied zwischen weiblichen und männlichen Vornamen bezüglich Karrierewörtern und Familienwörtern besteht. Während das Originalexperiment häufige Namen aus den USA verwendet (Caliskan et al., 2017), werden in der Studie von Autorin Mascha Kurpicz-Briki für die deutsche und französische Sprache die häufigsten Namen aus der Schweiz je Sprachregion untersucht (Kurpicz-Briki, 2020).

Abb. 3: Beispiel eines WEAT Experiments für Englisch, Deutsch und Französisch. Typische männliche bzw. weibliche Vornamen werden in Relation gesetzt zu Wörtern bezüglich Karriere und Familie (Kurpicz-Briki, 2020).

Während sich die bestehende Forschung oftmals der englischen Sprache widmete, konnte gezeigt werden, dass dieses Problem auch für deutsche oder französische Sprachmodelle besteht. Autorin Mascha Kurpicz-Briki vom Institute for Data Applications and Security der Berner Fachhochschule hat die WEAT Methode auf deutsch- und französischsprachige Modelle angewendet und konnte zeigen, dass gesellschaftliche Vorurteile bezüglich des Geschlechts und der Herkunft auch dort nachgewiesen werden können (Kurpicz-Briki, 2020).

In der Studie konnte auch gezeigt werden, dass sich die Vorurteile in Word Embeddings in verschiedenen Sprachen in ihrer Form durchaus unterscheiden können, vermutlich aufgrund kultureller und gesellschaftlicher Unterschiede. Während nicht alle Tests aus den englischsprachigen Sprachmodellen für Deutsch oder Französisch bestätigt werden konnten, konnte die Studie neue Wortgruppen identifizieren, welche spezifisch auf gesellschaftliche Gegebenheiten des deutschsprachigen Kulturraums basieren.

Ein Experiment in der Studie hat beispielsweise untersucht, ob die unterschiedliche Studienwahl von Frauen und Männern auch in den Word Embeddings abgebildet ist. Es wurden die fünf Studienfächer in der Schweiz mit der höchsten bzw. tiefsten Anzahl Frauen und weibliche bzw. männliche Wörter untersucht, wie in Abbildung 4 dargestellt. Auch hier konnte gezeigt werden, dass diese Unausgewogenheit aus der echten Welt in den Word Embeddings vorhanden sind, und daher das Risiko besteht, dass Anwendungen dieses Vorurteil als Realität auffassen und verstärken, anstatt es zu reflektieren.

Abb. 4: Beispiel des WEAT Experiments zur Studienwahl in der Schweiz (Kurpicz-Briki, 2020).

Die grossen Herausforderungen für die zukünftige Forschung in diesem Gebiet liegen daher einerseits darin, die Auswirkungen von solchen Vorurteilen in den Anwendungen selber messbar zu machen. Andererseits muss die Zusammenarbeit zwischen Menschen und Algorithmen diskutiert werden, um die automatisierten Entscheide von Software ausreichend zu reflektieren.

Referenzen

1. Bolukbasi, Tolga; Kai-Wei Chang, James Y Zou, Venkatesh Saligrama, and Adam T Kalai. 2016. Man is to computer programmer as woman is to homemaker? debiasing word embeddings. In Advances in neural information processing systems, pages 4349–4357.
2. Caliskan, Aylin; Joanna J Bryson, and Arvind Narayanan. 2017. Semantics derived automatically from language corpora contain human-like biases. Science, 356(6334):183–186.
3. Greenwald, Anthony G; Debbie E McGhee, and Jordan LK Schwartz. 1998. Measuring individual differences in implicit cognition: the implicit association test. Journal of personality and social psychology, 74(6):1464.
4. Kurpicz-Briki, Mascha. 2020. Cultural differences in bias? origin and gender bias in pre-trained german and french word embeddings. 5th SwissText & 16th KONVENS Joint Conference 2020, Zurich, Switzerland.
5. Lu, Kaiji; Piotr Mardziel, Fangjing Wu, Preetam Amancharla, and Anupam Datta. 2018. Gender bias in neural natural language processing. arXiv preprint arXiv:1807.11714.

Weiterführende Links zur Studie

1. Direktlink zum Paper
2. Video-Präsentation an der Konferenz
3. URL der Konferenz