Was haben Algorithmen mit antimuslimischem Rassismus zu tun? In ihrer Forschung beschäftigt sich Maike Sieler, Religionswissenschaftlerin an der Universität Zürich, genau mit dieser Frage. Sie möchte herausfinden, wie Muslim:innen in der Schweiz mit Stereotypisierungen und Diskriminierungen durch künstliche Intelligenz umgehen. 

Anwendungen der künstlichen Intelligenz – kurz KI, oder auf Englisch AI (Artificial Intelligence) – gehören mittlerweile in Form von Kommunikation, Mobilität, Information, Repräsentation und vielen weiteren Bereichen zu unserem Alltag wie die Kartoffel zum Raclette. So gut wie jeder unserer Lebensbereiche ist von AI durchdrungen. Das heisst, fast jeder – nur eben der Job der Coiffeur:innen nicht. Denn wie einer der renommiertesten AI Denker Andrew Ng einmal feststellte, lässt sich quasi alles automatisieren. Doch an einem gescheiten Haarschnitt beisst sich AI die metaphorischen Zähne aus.  

Auch wenn die Umsetzung im Bereich Frisur also eine haarige Sache zu sein scheint, erleichtert uns AI unseren Alltag mittlerweile immens. So wurden Siri und Alexa zu persönlichen Assistentinnen und ChatGPT zur bequemen Lösung, wenn wir wieder mal zu faul zum selbst googeln sind.

AI ist nicht das neutrale Werkzeug, für das sie gehalten werden könnte.

Aber wie alles andere existiert auch AI nicht im luftleeren Raum, sondern ist geprägt von ihrem kulturellen Kontext. Auch wenn es manchmal so wirkt: AI ist nicht das neutrale Werkzeug, für das sie gehalten werden könnte. Eine AI basiert auf einer grossen Menge von Daten und diese Daten sind ein Spiegel unserer Gesellschaft  – und unsere Gesellschaft ist durchzogen von historisch gewachsenen Machtstrukturen. Durch diese Prämisse kommt es auch bei Entscheidungen, die von einer AI getroffen werden, zu Stereotypisierungen und Fällen von Diskriminierung. Aber wie genau sieht das dann aus und was hat das mit Muslim:innen zu tun?

Tatsächlich gibt es verschiedene Wege auf denen Menschen eine Stereotypisierung oder eine Diskriminierung erfahren können, die ich im Folgenden anhand von drei hypothetischen Beispielen in Bezug auf Muslim:innen vorstelle. 

Garbage in, garbage out

Erstens kann eine Diskriminierung dadurch auftreten, dass ein Datenset nicht repräsentativ ist. Das bedeutet, dass eine bestimmte Bevölkerungsgruppe bei der Erstellung des Datensets, auf dem die AI trainiert wurde, unzureichend abgebildet wurde. Im Arbeitsfeld von AI-Produzierenden (z.B. Programmierer:innen) gibt es eine Faustregel, die eben diesen Umstand anschaulich beschreibt: garbage in, garbage out. Will heissen: ist die Basis unzureichend, kann das Ergebnis kein Wunderwerk sein. 

Im Fall von Muslim:innen kann sich das zum Beispiel dadurch zeigen, dass Menschen mit einem Kopftuch schlechter oder gar nicht von einer Gesichtserkennungs-AI erkannt werden. Diese werden zum Beispiel beim Entsperren von Smartphones oder bei Fotoautomaten eingesetzt, die biometrische Passbilder erstellen.

Du sprichst arabisch? Also bist du muslimisch!

Zweitens kann es zu einer Art «Stellvertreterdiskriminierung» kommen. In so einem Fall werden zwar sensible Daten wie etwa Geschlecht, Alter, Religion, Behinderung oder Ethnie nicht für eine Entscheidung einer AI herangezogen, da es zum Beispiel bei der Besetzung einer Stelle keine Diskriminierung geben soll. Jedoch können Stellvertreterdaten Rückschlüsse auf ebendiese geschützten Daten zulassen, was zu einer diskriminierenden Entscheidung führen kann. 

Ein Beispiel: Menschen, die im Internet hauptsächlich arabische Schriftzeichen verwenden, werden bestimmte Stellenanzeigen, die Deutsch als Muttersprache verlangen, nicht angezeigt. Durch das hauptsächliche Verwenden von arabischen Schriftzeichen werden Daten erzeugt, die die AI statistische Rückschlüsse auf die Religion ziehen lassen. Somit steht die Sprache als Stellvertreter für eine angenommene religiöse Zugehörigkeit. 

Du bist muslimisch? Dann kauf Henna!

Drittens gibt es das, was ich als einen Schwerpunkt Bias bezeichnen möchte. Anhand von unvorstellbar grossen Datenmengen werden statistische Gruppen (Cluster) gebildet, die zur Vorhersage des wahrscheinlichen (Kauf-)Verhaltens von Leuten dienen. Anders ausgedrückt: Durch sämtliche online-Aktivitäten hinterlassen Menschen Spuren (Daten), die Rückschlüsse auf ihre Interessen, ihren Alltag und finanzielle Situation zulassen. Diese Daten werden für wirtschaftliche Zwecke verarbeitet.

Die Soziolog:innen Marion Fourcade und Kieran Healy stellten fest, dass Menschen innerhalb dieser Cluster, in die sie kategorisiert wurden, mit einer statistisch zugespitzten Version von sich selbst in Form von Content und Werbung konfrontiert werden. Damit ist dann der Zugang zu ausgewählten Märkten verbunden, die ihrem wahrscheinlichen Kaufverhalten entsprechen. Aufgrund des reinen Hinterlassens der Daten ist es unmöglich, sich diesen Fremdklassifizierungen zu entziehen. Denn die hinterlassenen Spuren garantieren oder erschweren den Zugang zu spezifischen Märkten. 

Durch sämtliche online Aktivitäten hinterlassen Menschen Spuren (Daten), die Rückschlüsse auf ihre Interessen, ihren Alltag und finanzielle Situation zulassen.

Im Fall von Muslim:innen könnte sich ein Schwerpunkt Bias auf das Kaufverhalten von religiösen Produkten auswirken. Sie werden zum Beispiel aufgrund ihres Profils mit Werbung und Content von muslimischen Influencer:innen konfrontiert, die sich nur mit Henna die Haare färben, weil diese Methode islamischer sei, als die Produktpalette des Supermarktes um die Ecke. Muslim:innen, die vorher vielleicht noch nie darüber nachgedacht haben, sich die Haare mit Henna zu färben, könnten dann dahingehend in ihrem Kaufverhalten beeinflusst werden. 

AI: Ein Machtübertragungsmedium

Auch wenn alle diese hypothetischen Beispiele auf den ersten Blick vielleicht nicht sehr auffällig wirken, sind sie doch alle Ausdruck von historisch gewachsenen Machtstrukturen. Denn wenn Menschen eine Stereotypisierung oder Diskriminierung durch eine AI erfahren, sind es eben solche sozialen Gruppen, die auch historisch gesehen von Machtausübung betroffen waren. 

Zusammengefasst bedeutet das, dass sich patriarchale, koloniale und andere gruppenbezogene Formen von Menschenfeindlichkeit fortsetzen. Menschen, die also laut Anti-Diskriminierungsgesetz eigentlich aufgrund ihrer sensitiven Attribute wie Geschlecht, Alter, Ethnie, aber eben auch Religion vor solchen Fällen geschützt sein sollten, sind es in digitalen Kontexten ohne entsprechende politische Regulierung nicht unbedingt. 

Zusammengefasst bedeutet das, dass sich patriarchale, koloniale und andere gruppenbezogene Formen von Menschenfeindlichkeit fortsetzen.

Macht spiegelt sich auch darin wider, dass es den betroffenen Personen nicht bewusst ist, wenn sie von einer solchen Stereotypisierung oder Diskriminierung betroffen sind. Das hängt wiederum mit der Intransparenz von AI und dahintersteckenden marktwirtschaftlichen Strukturen zusammen. Da AI ein Überträger von Macht ist, begreife ich AI im Kontext meiner Forschung eben als solches – als Machtübertragungsmedium.

Beispiele in denen stereotypierende oder diskriminierende Entscheidungen gegen Menschen mit sensitiven Attributen getroffen wurden, gibt es wie Sand am Meer. Jedoch konzentrierten sich Forschungsvorhaben dazu meist auf die Attribute Geschlecht und Ethnie – das Feld der Religion wurde hier aussen vorgelassen. In meiner Forschung schaue ich mir daher an, welche Strategien Muslim:innen gegen die Übertragung von Kulturrassismen – wie der antimuslimische Rassismus einer ist – durch AI einsetzen. 

Antimuslimischer Rassismus

Kulturrassismen definieren sich dadurch, dass nicht von einem biologischen Rassenverständnis ausgegangen wird, wie sie etwa in der Kolonialzeit, der NS-Zeit, oder im südafrikanischen Apartheitsregime zu finden sind. Vielmehr werden einer Kultur oder Religion bestimmte, negative Eigenschaften zugeschrieben. Nach dieser Logik wird davon ausgegangen, dass jedes Individuum aufgrund seiner kulturellen Herkunft gar nicht anders könne, als sich nach ebendiesen von aussen zugeschriebenen, negativen Eigenschaften zu verhalten. Die zugeschriebenen Verhaltensmuster werden im Gegensatz zur eigenen Kultur gesehen und als unüberwindbare Differenzen konstruiert.

Im Falle des Islams handelt es sich um Zuschreibungen, die mit Extremismus, Rückständigkeit, dem Missachten von Frauen- und Kinderrechten und Gewaltbereitschaft in Zusammenhang stehen, wie Rassismusforscherin Yasemin Shooman herausarbeitete. Die Konstruktion von einer solchen Unüberwindbarkeit findet sich in der Schweiz insbesondere in den Abstimmungswahlkämpfen zum Verhüllungsverbot und Minarettverbot. Die Verhüllung und die Minarette wurden als mit der Schweizer Kultur unvereinbar dargestellt und sollten folglich aus dem öffentlichen Raum verbannt werden. 

Bei der Erforschung, welche Strategien Muslim:innen in der Schweiz in Bezug auf die Übertragung von solchen Stereotypen und Rassismen durch AI nutzen – die von digital detox, über online-Aktivismus, hin zu der Entwicklung von eigenen Erklärungsmodellen reichen –  handelt es sich um ein politisch aufgeladenes Thema.  Es findet seine Aktualität nicht nur in der Arbeit zum Thema Kulturrassismus, sondern auch im Bereich der sozialen Auswirkungen von AI. Die Arbeit dazu hilft, Übertragungen von Macht sichtbar zu machen und leistet einen Beitrag dazu, die sozialen Auswirkungen von AI sowie politische und wirtschaftliche Interessen in Entwicklungsprozessen mitzudenken.