Aktuelles im Detail

Neue Studie: Vertrauen in KI-Systeme

Viele von uns benutzen KI-Systeme täglich. Vor allem beim Einsatz assistiver Künstlicher Intelligenz (KI) in besonders verantwortungsvollen Berufen wie etwa im Gesundheitsbereich, bei der Polizei oder in der Justiz, ist das richtige Maß an Vertrauen in die KI wichtig für verantwortungsvollen Umgang mit solchen Entscheidungshilfen. Zu viel oder gar blindes Vertrauen kann zu unüberlegten Entscheidungen führen. Und zu wenig Vertrauen in eine KI kann wertvolles Wissen ignorieren. Um Vertrauen in KI-Systeme zu verbessern, wurden in den letzten Jahren viele Methoden vorgeschlagen, die KI-Entscheidungen transparenter machen. Inwiefern diese Transparenz jedoch das Vertrauen in KI-Systeme beeinflusst, blieb bisher wenig erforscht. Gemeinsam mit Philipp Schmidt haben nun zwei Professoren des Einstein Center Digital Future (ECDF) Felix Biessmann und Timm Teubner untersucht, welchen Einfluss Transparenz von KI-basierten Decision Support Systemen auf menschliches Vertrauen in die KI haben.

In einer experimental-ökonomischen Studie ließen sie 200 Teilnehmer*innen kurze Texte als „positiv“ oder „negativ“ klassifizieren. Pro richtig klassifizierten Text erhielten die Teilnehmer*innen eine Vergütung. Zusätzlich stand den Teilnehmer*innen die Unterstützung durch eine KI zur Verfügung, die ebenfalls eine Einschätzung (positiv oder negativ) abgab. In verschiedenen Experiment-Gruppen wurde die Transparenz dabei systematisch variiert. Die KI „erklärte“ ihre Entscheidung, indem sie 1) die relevantesten Wörter im Text hervorhob (z.B. „wundervoll“ als Indikation für eine positive Bewertung), und 2) indem die Konfidenz der Vorhersage kommuniziert wurde (z.B. 65% oder 98%).

„Entgegen der weitverbreiteten These, dass Transparenz stets vorteilhaft ist, trugen die Transparenzmaßnahmen nicht zum Vertrauen in die KI bei. Im Gegenteil, die Teilnehmer*innen verließen sich signifikant weniger häufig auf die KI und wichen in ihrer Einschätzung von den KI-Einschätzungen ab – und lagen damit dann auch häufiger falsch“, berichtet Prof. Dr. Felix Biessmann. Auch bezüglich der KI-Konfidenz zeigte sich, dass die KI gewissermaßen am Imposter-Syndrom leidet. „Wenn die KI zwar richtig lag, ihrer Vorhersage jedoch eine zu hohe Unsicherheit beimaß, folgten die Teilnehmer*innen dem Vorschlag der KI häufig nicht“, so Biessmann weiter.

Das richtige Maß an Vertrauen bedeutet auch, falschen KI-Vorhersagen nicht zu folgen. Genau dafür sollte mehr Transparenz sorgen. „Die Ergebnisse deuten jedoch darauf hin, dass Menschen bis zu sechsmal mehr Fehler bei der Textklassifizierung machen, wenn sie falschen KI-Vorhersagen folgen, als wenn sie richtige KI-Vorhersagen ignorieren. Zuviel Vertrauen in falsche KI-Vorschläge war also weit schlimmer als das Ignorieren der richtigen KI-Vorschläge“, sagt Prof. Dr. Timm Teubner.

Zusammenfassend zeigen die Ergebnisse, dass Transparenz von KI-Systemen nicht immer das Vertrauen in solche Systeme verstärkt. Auch zeigte sich, dass Transparenz häufig gerade nicht die Wirkung hat, Menschen falsche KI-Prognosen erkennen zu lassen.

„Als nächstes möchten wir untersuchen ob und wie schnell sich Vertrauen in KI-Systeme wiederherstellen lässt, nachdem falsche KI-Prognosen zu einem Vertrauensverlust geführt haben“, berichtet Teubner.

Die Studie erscheint im Journal of Decision Systems und ist hier bereits online verfügbar.