"Es hat eine Weile gedauert, bis man verstanden hat, dass automatische Seifenspender ein Problem waren, weil sie dunklere Menschen ausgeschlossen haben. Lange Zeit war es so, dass nur Hände von weißen Menschen von diesen Seifenspendern erkannt wurden." Die Infrarot-Standard-Technologie wurde von weißen Menschen entwickelt, in Teams aus lauter Männern kaukasischen Typs - die nie über die Tatsache nachgedacht hätten, dass man es hier nicht mit mathematischen, sondern mit sozio-technischen Systemen zu tun habe, so die Politikwissenschaftlerin.

Aus demselben Grund lebten farbige Menschen gefährlich, wenn nach heutigen Standards selbstfahrende Autos entwickelt würden, sagt Lorena Jaume-Palasí: "Die Gesichtserkennungsprogramme sind extrem fehlerhaft. Ein prominentes Beispiel wurde von Joy Buolamwini vom MIT vor zwei Jahren thematisiert. Sie hat nachgewiesen, dass große Unternehmen wie Amazon, wie IBM, wie Microsoft keine gute Technologie entwickelt hatten, weil sie diese Technologie mit Daten trainiert hatten, die sehr einseitig waren." Die Bilderkennungstechnologien seien anfangs nicht in der Lage gewesen, Frauen von Männern zu unterscheiden, oder dunklere Hauttypen zu erkennen. "Es gab dunklere Menschen, die sich vor eine Kamera gestellt haben und die Kamera konnte nicht erkennen, dass da ein Mensch steht!"

Künstliche Intelligenz werde die Gesellschaften deutlich verändern. Aber sie könne auch Vorurteile reproduzieren. Einfach gesprochen sei die KI eine fortschrittliche Automatisierung, ihre Grundlage seien Statistiken und Standards. Die Standards aber beruhten häufig auf Prämissen, die unbewusste Voreingenommenheit spiegelten - "Unconscious bias" in der Fachsprache. Sprachassistenten zum Beispiel hätten Sprache so standardisiert, dass Dialekte nicht verstanden würden, weil sie in der Datenbank nicht mitberücksichtigt würden. "Siri versteht den walisischen oder schottischen Akzent nicht. Man ist gezwungen, Oxford-Englisch zu sprechen, damit man vom Sprachassistenten verstanden wird", so Lorena Jaume-Palasí.

Zu häufig werde der soziale Kontext vergessen, in dem Technologien implementiert würden. Es habe lange gedauert, bis Sozialwissenschaftler die Standardisierungen in den Mittelpunkt ihrer Forschungen gerückt hätten. Heute wisse man: Standards brächten eine Form von Gewalt mit sich, denn sie seien immer ein Ausdruck von Mehrheiten. Selbst mit ganz vielen verschiedenen Standards lasse sich Gewalt, die man Minderheiten antue, kaum vermeiden. "Es gibt immer wieder Menschen, die dazwischen geraten, zwischen die Kategorien. Und es ist Aufgabe von Demokratien, aber auch gerade in der Entwicklung solcher Technologien, ständig darüber nachzudenken, wie man das, was dazwischen ist, inklusiv einbindet."

Es handele sich eben nicht um rein mathematische oder informatische Systeme, die ausschließlich von Datenwissenschaftlern entwickelt werden müssten. "Es braucht Soziologen, es braucht Ethnologen, die auch die Interaktion Mensch - Maschine verstehen." Jaume-Palasí kritisiert in diesem Zusammenhang "iBorderCtrl", ein KI-gestütztes System, das die Mimik von Menschen analysieren soll, die an der Grenze einen Asylantrag stellen. Der Polygraphen-Test für Migranten solle beurteilen, ob Menschen wahre Aussagen machen oder nicht, sei also eine Art Lügendetektor. "Es gibt viele gute Gründe, warum man an einer Grenze etwas mehr schwitzt oder nervös ist, und das muss nicht Lügen sein. Allein die Situation kann das hervorrufen, zum Beispiel wenn man alt ist, oder als Frau aus einem anderen Kulturkreis vor einer Gruppe von Männern steht."

Es gehe nicht darum, die Technologie zu verteufeln. "Aber es ist der erste Schritt in einer Kette von Entscheidungen, wodurch eine Technologie programmiert wird, die allein von der Konzeption her für Diskriminierung prädestiniert ist."