Wie Bias in KI-Systemen erkannt und verringert werden können

Verzerrungen («Bias») sind massgebliche Ursachen für unfaire und diskriminierende Entscheidungen bei der Nutzung von KI-Systemen. So wurden beispielsweise gutbezahlte Jobangebote algorithmisch fast ausschliesslich bei männlichen Nutzern platziert [1]. Unter Verwendung eines bewusstseinsschaffenden Frameworks zur Sensibilisierung von Entwicklern und Anwendern ist das Ziel, Bias zu identifizieren und zu verringern. Das Framework wurde im Kontext zweier KI-Systeme aus der Praxis erfolgreich validiert.

Mit der Verbreitung von KI-Systemen in immer mehr Lebensbereichen nimmt auch die Bias-Problematik zu. Bei Entwickler*innen und Betreiber*innen inhärent vorhandene Verzerrungen im Denken und Handeln, aber auch Bias in Trainingsdatensätzen für KI-Systeme verstärken deren diskriminierende Entscheidungen. Auf Basis einer umfangreichen Literaturrecherche [2] wurde ein bewusstseinsschaffendes Framework zur Sensibilisierung der beteiligten Personen entwickelt, mit dem Bias identifiziert und verringert werden soll. Im Gegensatz zum untersuchten Forschungsgegenstand gibt es technische Frameworks, die versuchen, diskriminierende Mustern in Trainingsdaten offenzulegen [3].

Verzerrungen kommen in unterschiedlicher Gestalt vor: mit «Direct Bias» werden Eigenschaften im Kern eines KI-Systems bezeichnet, wie beispielsweise ungeeignete Trainingsdaten und darauf basierende selbstlernende Algorithmen [4]. Im eingangs genannten Beispiel führen die historisch einseitigen Daten, mit denen das System gefüttert wurde zu entsprechend diskriminierenden Systementscheidungen. «Indirect Bias» resultiert im Gegensatz dazu aus dem umgebenden Ökosystem, beispielsweise durch die Übernahme tradierter Vorgehensweisen und Haltungen [5].

Im vorliegenden Forschungsprojekt ist in einem ganzheitlichen Ansatz der gesamte Lebenszyklus vom Systemdesign über Implementierung bis hin zum Betrieb in das Framework einbezogen. Eine Unterteilung in 12 Kategorien erlaubt ein strukturiertes Vorgehen bei der Anwendung des Frameworks (s. Abb. 1).

Abbildung 1: Das «Bias Mitigation» Framework legt den Fokus auf 12 Kategorien (Rechtecke).

Obwohl in KI-Projekten ethische Aspekte häufig thematisiert werden [6], bleibt es meist bei Hinweisen auf allgemeine ethische Prinzipien [7]. Im vorliegenden Ansatz wird eine nachhaltigere Ausweitung in zwei Dimensionen empfohlen. Einerseits werden mit detaillierten Fragestellungen je Kategorie gezielt projektspezifische Reflexion ausgelöst. Abbildung 2 zeigt diesen Checklisten-basierten Ansatz am Beispiel der Kategorie «Project Team».

Abbildung 2: Ausschnitt aus der Checkliste für die Kategorie «Project Team» (vollständig in [2]).

Andererseits werden durch regelmässige Anwendung und systematische Dokumentation (s. Abb. 3) ethische Aspekte als verpflichtender Standard in KI-Projekten nachhaltig verankert.

Das vorgeschlagene Framework wurde erfolgreich im Kontext zweier praxisrelevanter KI-Projekte validiert: dem Chatbot einer Schweizer Versicherungsanstalt sowie im Smart Animal Health Projekt des Schweizer Bundesamtes für Landwirtschaft.

Insbesondere die Dokumentation in Form eines One-Pagers erlaubt eine übersichtliche Darstellung einer Frameworkanwendung. In Abbildung 3 ist das Ergebnis des o.g. Chatbot-Projekts dargestellt. Die grünen Bereiche wurden im Projekt erkannt bzw. berücksichtigt, die gelben Bereiche nur teilweise. Weisse Flächen würden auf blinde Flecken oder auch nicht anwendbare Kriterien bzgl. Bias im jeweiligen KI-Projekt hinweisen, was im Chatbot-Projekt aber nicht vorkam.

Abbildung 3: Ausschnitt aus dem One-Pager für das Chatbot-Projekt (vollständig in [2]). Umrandete Bereiche entsprechen einer Kategorie des Frameworks, darin enthalten die Kriterien der jeweiligen Checkliste.

Aus der Anwendung des Frameworks in den beiden o.g. KI-Anwendungen resultierten mehrere Erkenntnisse. Einerseits erfuhr das Framework in einem Validierungsschritt einige Verbesserungen in Bezug auf Anwendbarkeit, Brauchbarkeit und Abdeckungsgrad bzgl. relevanter Kategorien. Andererseits zogen die beteiligten Projekte Nutzen insbesondere aus dem hohen Abdeckungsgrad des Bias Mitigation Framework.


Über das Projekt

Die Projektergebnisse wurden auf einer Fachkonferenz mit einem Best Paper Award ausgezeichnet [8], sowie im International Journal on Advances in Software publiziert [2]. Anwendbare Vorlagen sind verfügbar.


Referenzen

  1. D. Cossins, “Discriminating algorithms: 5 times AI showed prejudice,” New Scientist, 2018. https://www.newscientist.com/article/2166207-discriminating-algorithms-5-times-ai-showed-prejudice/
  2. T. Gasser, R. Bohler, E. Klein, L. Seppänen, «Validation of a Framework for Bias Identification and Mitigation in Algorithmic Systems». International Journal on Advances in Software, 14(1&2), pp. 59-70. IARIA. Dec 2021. https://arbor.bfh.ch/16560/
  3. K. R. Varshney, “Introducing AI Fairness 360, A Step Towards Trusted AI,” IBM Research Blog, 2018. https://www.ibm.com/blogs/research/2018/09/ai-fairness-360/
  4. W. Barfield and U. Pagallo, “Research Handbook on the Law of Artificial Intelligence. Edited by Woodrow Barfield and Ugo Pagallo. Cheltenham, UK,” Int. J. Leg. Inf., vol. 47, no. 02, pp. 122–123, Sep. 2019.
  5. B. Friedman and H. Nissenbaum, “Bias in computer systems,” ACM Trans. Inf. Syst., vol. 14, no. 3, pp. 330–347, Jul. 1996.
  6. SAS, “Organizations Are Gearing Up for More Ethical and Responsible Use of Artificial Intelligence, Finds Study,” 2018. https://www.sas.com/en_id/news/press-releases/2018/september/artificial-intelligence-survey-ax-san-diego.html
  7. AlgorithmWatch, “AI Ethics Guidelines Global Inventory,” 2019. https://algorithmwatch.org/en/project/ai-ethics-guidelines-global-inventory/
  8. T. Gasser, E. Klein, and L. Seppänen, “Bias – A Lurking Danger that Can Convert Algorithmic Systems into Discriminatory Entities,” in Centric2020 – The 13th Int. Conf. on Advances in Human-oriented and Personalized Mechanisms, Technologies, and Services, 2020, pp. 1–7. https://arbor.bfh.ch/13189/
Creative Commons Licence

AUTHOR: Eduard Klein

Eduard Klein ist Dozent im Institut "Public Sector Transformation" des BFH-Departements Wirtschaft. Er lehrt und forscht im Bereich Wirtschaftsinformatik, speziell über Webtechnologien und Software Engineering. Seit über 10 Jahren ist er an grösseren EU-Projekten beteiligt, zuletzt im Bereich Smart City Innovation. Ausserdem entwickelt und betreut er Kooperationen zu ausländischen Partnerhochschulen im Bachelorstudiengang Wirtschaftsinformatik.

Create PDF

Ähnliche Beiträge

0 Kommentare

Dein Kommentar

An Diskussion beteiligen?
Hinterlasse uns Deinen Kommentar!

Schreiben Sie einen Kommentar

Ihre E-Mail-Adresse wird nicht veröffentlicht. Erforderliche Felder sind mit * markiert