Dialekt-Bias in der KI: Wo Sprachmodelle Schweizerdeutsch-Sprechende verorten

Beurteilt Sie ein KI-Assistent anders, wenn Sie im Schweizer Dialekt statt auf Hochdeutsch schreiben? Eine Studie des Human-Centered AI-based Learning Systems (HAIS) Lab [1] an der BFH Wirtschaft untersuchte anhand von Berndeutsch nicht nur, ob eine KI Verzerrungen aufweist, sondern wie sich diese Verzerrung verteilt: Welche Charaktereigenschaften tendieren eher zum Dialekt oder zu Hochdeutsch, und wie verschiebt sich das Gesamtmuster je nach Bauart des Modells.

In der Schweiz leben Menschen mit zwei Formen derselben Sprache. Hochdeutsch dominiert die Schriftsprache und formelle Kontexte, während im Alltag die schweizerdeutschen Dialekte vorherrschen — geschätzt für ihre Authentizität, doch oft als weniger akademisch behandelt. Da immer mehr Menschen KI-Assistenten in Alltagssituationen mit ihren eigenen Worten nutzen, stellt sich eine konkrete Frage: Beurteilt ein Modell die schreibende Person unterschwellig anders, wenn es auf Dialekt trifft? Unsere Untersuchung ging dieser Frage anhand von Berndeutsch im Vergleich zu Hochdeutsch nach und stellte heutige kommerzielle KI-Assistenten (z. B. ChatGPT) offenen Modellen und einer älteren Generation von Sprachtechnologie gegenüber.

Warum uns Bias in KI-Modellen kümmern sollte

In diesem Beitrag definieren wir Bias sehr spezifisch: Das Modell schreibt der einen Sprachvarietät andere Eigenschaften zu als der anderen, selbst wenn die Worte dasselbe aussagen. Mit Bias meinen wir in unserem Kontext also: identischer Inhalt, unterschiedlich beurteilt, nur wegen des Dialekts, in dem er geschrieben ist. Bias in grossen Sprachmodellen (der KI hinter Chatbots wie ChatGPT, Claude, Gemini) lässt sich kaum vermeiden: Diese Systeme lernen aus enormen Textmengen, die bereits soziale Hierarchien in sich tragen, und sie reproduzieren diese Muster [4]. Sie lernen aus riesigen Textmengen, in denen Hochdeutsch Formalität und Prestige signalisiert, während der Dialekt für das Informelle und Alltägliche steht. Sie übernehmen diese Rangordnung und tragen sie in ihre Urteile hinein. Für jemanden, der so schreibt, wie er spricht — auf Berndeutsch statt auf Hochdeutsch —, kann das unterschwellig den Ausschlag geben: Die Nachricht wird als etwas weniger kompetent gelesen, das Anliegen etwas weniger ernst genommen, die Anfrage mit etwas weniger Sorgfalt beantwortet — und das allein wegen des Dialekts.

Was wir herausfinden wollten

Wir fragten, ob semantisch identische Sätze — einmal auf Berndeutsch und einmal auf Hochdeutsch geschrieben — Modelle dazu bringen, unterschiedliche Eigenschaften zuzuschreiben, Wörter wie freundlich, stur oder intelligent, und ob dieses Muster über verschiedene Arten von Modellen hinweg bestehen bleibt oder sich verändert. Ein einziges Beispiel zeigt, was «identisch» hier bedeutet: Der hochdeutsche Satz «Ich bin von oben rein gekommen» und sein berndeutsches Pendant «I bi vo obä iinächo» tragen dieselbe Bedeutung und unterscheiden sich nur im Dialekt. Die interessante Frage ist dann nicht das plakative «voreingenommen oder nicht», sondern die präzise: Wohin fällt der Bias?

Wie wir die Studie durchgeführt haben

Wir verwendeten eine soziolinguistische Methode namens Matched-Guise-Probing [1][2]. Das Prinzip ist einfach: Man präsentiert denselben Inhalt zweimal, verändert nur den Dialekt und beobachtet, ob sich die Zuschreibung verschiebt. Wenn ja, ist allein der Dialekt die Ursache, denn nichts anderes hat sich verändert.

Wir stützten uns auf 200 abgeglichene Satzpaare aus SwissDial, einem öffentlichen Korpus gesprochenen Schweizerdeutschs [3], die jeweils in der Bedeutung identisch sind und sich nur im Dialekt unterscheiden. Wir wählten alltägliche, themenneutrale Sätze aus — über Wetter, Routinen und Gefühle — und filterten alles heraus, was über den Dialekt hinaus auf eine Gruppenzugehörigkeit hindeuten könnte, damit der Inhalt das Ergebnis nicht steuert. Für jeden Satz wies das Modell der schreibenden Person Charaktereigenschaften aus einer festen Liste zu — von positiven Eigenschaften wie «intelligent» oder «freundlich» über neutrale bis hin zu negativen wie «faul» oder «dumm». Anschliessend kartierten wir, wo jede Eigenschaft landete, über dreizehn Modelle in drei Gruppen hinweg: geschlossene kommerzielle Assistenten (wie GPT-4o, Claude und Gemini), offene Modelle, die alle herunterladen können (Llama und Qwen, in mehreren Grössen), sowie eine ältere, technischere Generation «maskierter» Modelle, sowohl rein deutschsprachige als auch mehrsprachige.

Abbildung 1: Der Matched-Guise-Aufbau. Derselbe Satz erscheint auf Berndeutsch und Hochdeutsch, wird in einen neutralen bewertenden Prompt eingebettet, und die Eigenschaftszuschreibungen des Modells werden verglichen. Nur der Dialekt unterscheidet sich, sodass jede Differenz einen Dialekt-Bias offenlegt.

Was die Ergebnisse zeigten

Der Bias war keine diffuse Wolke der Negativität. Er hatte eine klare Richtung, bestehend aus zwei getrennten Bewegungen. Bei den geschlossenen kommerziellen Assistenten drifteten negative Eigenschaften zum Dialekt, während positive Eigenschaften zum Hochdeutsch drifteten. Negative Beschreibungen entfielen in etwa 34 bis 42 % der Fälle auf berndeutsche Eingaben, gegenüber 22 bis 33 % beim Hochdeutsch, und die Standardvarietät sammelte den grösseren Anteil positiver Wörter.

Der Effekt konzentrierte sich auf bestimmte, emotional aufgeladene Wörter, statt sich gleichmässig zu verteilen. Begriffe wie unhöflich, stur und dumm häuften sich auf der Dialektseite, während sich aufmerksam und treu auf der Standardseite häuften. Der Bias ist genau dort am schärfsten, wo sozial am meisten auf dem Spiel steht.

Abbildung 2: Anteil der negativen, neutralen und positiven Eigenschaften, die jeder Assistent für Berndeutsch (links) und Hochdeutsch (rechts) zuweist. Beim Dialekt steigt der negative Anteil und sinkt der positive.

Die Richtung kehrt sich je nach Modell um

Der auffälligste Befund ist, dass die Richtung selbst davon abhängt, was für ein Modell vorliegt. Wir nennen das eine Paradigmenkluft. Die älteren, rein deutschsprachigen Modelle neigten zum Dialekt und verbanden ihn mit ihren stärksten Vorhersagen, während die mehrsprachigen Modelle und die geschlossenen Assistenten zum Hochdeutsch neigten. Derselbe Dialekt kann als leichtes Plus oder als deutliches Minus gelesen werden — je nach Trainingsrezept.

Die offenen Modelle fügten eine weitere Feinheit hinzu, die klar benannt werden sollte: Das Muster wuchs nicht sauber mit der Modellgrösse. Ein sehr kleines Modell zeigte eine schwache Version davon, ein etwas grösseres kehrte sie um, und erst das grösste offene Modell entsprach klar den kommerziellen Assistenten. Es gibt keine saubere Kurve nach dem Motto «grösser bedeutet voreingenommener».

Abbildung 3: Welche Eigenschaften die beiden Varietäten am stärksten trennen. Positive Eigenschaften wie aufmerksam und sensibel häufen sich auf der Seite des Hochdeutschen; negative Eigenschaften wie unhöflich, stur und dumm häufen sich auf der berndeutschen Seite.

Was das bedeutet

Die Benachteiligung des Dialekts ist weder zufällig noch pauschale Ablehnung. Sie folgt einem Muster, das eine vertraute soziale Ordnung spiegelt: Der Dialekt zieht die negativen Urteile an; das Hochdeutsch sammelt die positiven. So könnte jemand, der so schreibt, wie er spricht — auf Berndeutsch statt auf Hochdeutsch —, von diesen Systemen als unhöflicher, sturer oder weniger intelligent beurteilt werden, und das allein wegen seines Dialekts. Am konsistentesten zeigt sich dies bei jener Art grosser kommerzieller Assistenten, zu denen die Menschen täglich greifen und die Aussenstehende nicht einsehen können. Wir können sehen, wohin der Bias fällt. Warum, können wir nicht sehen.

Fazit

KI-Assistenten werden Teil des alltäglichen Schreibens und Entscheidens, und sie sind nicht neutral gegenüber der Art, wie wir sprechen. Unsere Studie zeigt, dass die lohnende Frage nicht nur lautet, ob ein Modell voreingenommen ist, sondern wo diese Verzerrungen landen — und die Antwort ist eine konsistente, strukturierte Schieflage gegen den Dialekt, und zwar in genau jenen Systemen, die die meisten Menschen nutzen. Die von uns verwendete Methode ist kostengünstig und wiederholbar. Was bislang fehlt, ist die Gewohnheit, genau hinzuschauen, bevor diese Werkzeuge eingesetzt werden, statt erst danach. Wenn eine Hochschule, ein Unternehmen oder eine Behörde ein solches Modell einführt, sollte die Prüfung auf diese Art von Dialekt-Bias Teil des Prozesses sein und kein nachträglicher Einfall — so wie eine Sicherheitsprüfung jeder anderen Einführung vorausgeht.

Fussnoten

[1] Human-Centered AI-based Learning Systems (HAIS) Lab, BFH. https://haislab.com

[2] Hofmann, V., Kalluri, P. R., Jurafsky, D., & King, S. (2024). AI generates covertly racist decisions about people based on their dialect. Nature, 633(8028), 147–154. https://doi.org/10.1038/s41586-024-07856-5

[3] Dogan-Schönberger, P., Mäder, J., & Hofmann, T. (2021). SwissDial: Parallel Multidialectal Corpus of Spoken Swiss German. arXiv:2103.11401.

[4] Gallegos, I. O., et al. (2024). Bias and Fairness in Large Language Models: A Survey. Computational Linguistics, 50(3), 1097–1179.

[5] Lambert, W. E., Hodgson, R. C., Gardner, R. C., & Fillenbaum, S. (1960). Evaluational reactions to spoken languages. Journal of Abnormal and Social Psychology, 60(1), 44–51.