Im Zusammenhang mit KI-Anwendungen wie ChatGPT findet eine Neuverteilung von Arbeit statt. Dass ChatGPT beispielsweise rassistische oder sexistische Äußerungen vermeidet, hat den Preis, dass schlecht bezahlte Arbeiter*innen in Kenia strafbare und als anstößig eingestufte Inhalte aussortieren und kennzeichnen. Aus diesem Anlass diskutierten Gäste und ECDF Mitglieder beim ersten Netzwerktreffen des ECDF Gender & Diversity Netzwerks am 31.5.2023 Genderaspekte und das Diskriminierungspotenzial von AI Anwendungen. Im Mittelpunkt stand die Problematik der content moderation. Besonders die Frage „Wer soll für Diversität eintreten?“ entfachte eine Kontroverse.
Als Gäste waren die Wissenschaftlerinnen Maris Männiste (Södertörn University, Schweden), Leah Nann (LMU München) und Corinna Canali (UdK Berlin/Weizenbaum Institut) im Panel. Vom ECDF waren Florian Conradi (TU Berlin), Helena Mihaljević (HTW Berlin/Moderation) und Michelle Christensen (TU Berlin/Moderation) dabei.
Die eingeladenen Expert*innen, die sich mit KI und Diskriminierung beziehungsweise KI und Beteiligung beschäftigen, stellten zum Auftakt der Veranstaltung Aspekte aus ihrer Arbeit vor, die Bezug zum Thema des Abends hatten:
Leah Nann forscht derzeit zu migrationsfeindlichen Diskursen in den sozialen Medien sowie zu Online-Frauenfeindlichkeit gegenüber Politikerinnen mit Migrationshintergrund im deutschen Kontext. Sie arbeitet als Doktorandin im Projekt AI4Dignity an der LMU München. Mit dem Projekt werden Konzepte für die kollaborative Kodierung von Daten erforscht, die für das Training von Modellen für Moderation von Content verwendet werden. „Online-Sprache ist in unterschiedlichen Kulturen angesiedelt. Die Annotation der Daten muss diese Vielfalt widerspiegeln,“ betont Leah Nann – derzeit geschehe dies aber nicht.
Corinna Canali ist Doktorandin am Weizenbaum Institut und der Universität der Künste, Berlin. Sie untersucht die digitale Moderation von Nacktheit und sexueller Aktivität vor allem in westlichen sozialen Netzwerken. Sie fragt, welche digitalen Systeme und Machtstrukturen die Wahrnehmung von Weiblichkeit als Obszönität aufrechterhalten. Digitale Technologien – so zeigte sie – sexualisieren derzeit weibliche Körper stark. Generativer KI-Modelle sind beispielsweise nicht fähig, weibliche Brustwarzenbilder zu erzeugen. Durch Zensur sind Bilder weiblicher Brustwarzen schlicht nicht – als Grundlage des Lernens für KI – verfügbar.
Den unterschiedlichen digitalen Umgang mit weiblichen und männlichen Körpern veranschaulichte Corinna Canali aber auch an den Regeln der Firma Apple für persönliche Gravuren auf dem Ortungsgerät „AirTag“. Während „dick“ problemlos graviert werden kann, ist „boob“ nicht erlaubt. Entsprechende Ungleichbehandlung und einen gender bias wies sie auch in der Strategie YouTubes auf, welche Inhalte monetarisierbar sind und welche nicht.
Maris Männiste arbeitet als Postdoc an der Södertörn Universität in Schweden. Ihre Digitalisierungsforschung befasst sich mit staatlichen Wohlfahrtssystemen, die versuchen, die jüngsten technologischen Fortschritte wie NLP zu nutzen, um serviceorientierte Chatbots für Bürgerdienste zu entwickeln. Anhand von Beispielen aus Schweden und Estland zeigte sie, dass die Anwendungen auch bei präzisen und unkomplizierten Eingaben weit davon entfernt sind, die staatlichen Angebote für Bürger*innen einfacher zugänglich oder sichtbarer zu machen. Ein Chatbot den sie bemühte, konnte beispielsweise keine Angaben zur Verlängerung von Kinderpässen machen. „Wenn man genau formulieren muss, was man braucht und der Dienst selbst dann nicht hilft, ist er gegen die Interessen der meisten Bürger gebaut,“ so Männiste. Relevant sei, ob diejenigen, die diese Tools nutzen sollen, in deren Entwicklung mit einbezogen werden. Und es mache einen qualitativen Unterschied, ob diese Technologien so implementiert werden können, dass sie auch Dienste vorschlagen, die Bürger*innen nicht bewusst sind, ihnen aber Vorteile bieten.
Diskussion:
Eingangs wurden Beispiele aus Corinna Canalis Präsentation aufgegriffen. Wer stellt in den Fällen, in denen nicht maschinell aus der riesigen Welt von Daten gelernt wird, sondern manuell kodiert, die Regeln auf und trifft Entscheidungen? Die Beziehungen zwischen Daten Annotatoren und kommerziellen Plattformen wurden als entscheidend herausgestellt.
"Ein entscheidendes Problem der digitalen Technologie ist meiner Ansicht nach der Glaube, dass menschliches Verhalten auf einfache binäre Kategorien von richtig und falsch reduziert werden kann. Folglich wird versucht, die Komplexität - beispielsweise von Körperbildern - durch automatisierte Systeme zu bewältigen, die lokale Logiken auf ein globales Publikum anwenden. Dies wird dann als allgemein gültige Wahrheit maskiert, der jeder folgen können soll," hielt Canali fest.
Eine besondere Problematik der Moderation von hate speech sprach Maris Männiste an. Bei deren automatischer Erkennung werde hauptsächlich die englische Sprache berücksichtigt. Problematische Inhalte in „kleinen Sprachen“ könne sich sehr schnell verbreiten, bevor sie überhaupt entfernt werden könnten.
Da die die Content Moderation in den Händen großer Unternehmen – der Betreiber von Plattformen – liegt, stellten sich Diskutierende und Publikum die Frage, wie überhaupt kritisch interveniert werden kann. Ein Vorschlag aus dem Publikum lautete: „Partizipation! Es kann sich nur etwas verändern, wenn ab jetzt alle mitschreiben, -sprechen und -gestalten.“ Hiergegen wirft Gesche Joost kritisch ein, dass sie es nicht für möglich hält, nur auf partizipative Weise eine Änderung herbeizuführen. Wir hätten es hier mit verfestigten Machtstrukturen zu tun. Corinna Canali bestätigt den Einwand: „Genau, es handelt sich um strukturelle Verhältnisse. Dies zeigt deutlich das Beispiel, dass der weibliche Körper als obszön gelesen und zensiert wird. Weiße, männliche Personen haben dies über Jahrhunderte festgelegt.“ Die erneute Frage nach einer Diversitäts-postiven agency aus dem Publikum entfachte eine Kontroverse. Die Frage „Wer soll für Diversität eintreten?“ stand im Raum.
Christine Kurmeyer formulierte eine Antwort: „Es muss systematisch und institutionell vorgegangen werden, sonst melden sich immer nur dieselben Personen und eine Vielfalt an Meinungen kann nicht abgebildet werden. Das muss aktiv konstruiert werden. Gerade die Digitalisierung bietet Chancen, diese Strukturen endlich genauer zu analysieren und somit auch bessere Handlungsmöglichkeiten auf struktureller Ebene aufzuzeigen. Hierfür muss man erkennen, wie artifiziell – und nicht „natürlich“ – die Verhältnisse gestaltet sind. So werden konkrete Optionen des aktiven Intervenierens sichtbar.“