Archiv

Automatisierte Entscheidungssysteme
"Das passiert auch hier in Europa sehr wohl"

Die "Künstliche Intelligenz" hält Einzug in die EDV von Behörden und Firmen - und trifft Entscheidungen über Menschen. EU-weit harmonisierte Vorgaben könnten den Druck auf Software-Anbieter steigern, sich dabei gesetzestreu zu verhalten, sagte Matthias Spielkamp von der Organisation AlgorithmWatch im Dlf.

Matthias Spielkamp im Gespräch mit Manfred Kloiber |
    Abstrakte Illustration zum Thema Technologie: rund um einen stilisierten menschlichen Kopf sind vor blauem Hintergrund Zahlen und andere Zeichen zu sehen.
    Automatisierte Entscheidungssysteme beruhen auf Statistik und Mustererkennung - wie die Resultate zustande kommen, ist für Betroffene nicht transparent nachvollziehbar. (imago / Science Photo Library)
    Manfred Kloiber: Vielen Menschen ist es vielleicht gar nicht so bewusst, aber es passiert tagtäglich: Über ihre Köpfe hinweg werden Entscheidungen gefällt, hinter denen gar keine Menschen, sondern eine Maschine steckt. Bekanntestes Beispiel ist das Scoring; also wenn die Kreditwürdigkeit der Bürger beurteilt wird. Immer mehr werden diese Systeme zur automatischen Entscheidungsfindung eingesetzt. Doch wie und wo das gemacht wird, und vor allem auf welcher rechtlichen Grundlage, das ist selbst im angeblich regelungswütigen Europa weitgehend ungeregelt. Dazu hat die Bertelsmann-Stiftung bei AlgorithmWatch eine Studie in Auftrag gegeben, die die Situation in der Europäischen Union erkunden sollte. Matthias Spielkamp von AlgorithmWatch habe ich gefragt, was sie herausfinden wollten.
    Matthias Spielkamp: Wir wollten herausfinden, ob diese Systeme eingesetzt werden, wie viele und zu welchem Zweck. Denn es ist im Moment doch meistens so, dass wenn über diese automatisierte Entscheidung gesprochen wird, fast immer Beispiele aus den USA genannt werden. Da gibt es einen Algorithmus, der herausfindet, ob ein Straftäter im Gefängnis bleiben soll und dann gibt's einen, der entscheidet darüber - angeblich - ob jemand dann eine Behandlung bekommt oder nicht. Und China ist natürlich ein großes Thema mit diesem Social Scoring, und dann wird immer der Eindruck erweckt, das passiert in Europa oder in der EU nicht. Wir wollten zeigen, dass das nicht der Fall ist, dass das hier sehr wohl passiert.
    KI-Systeme beurteilen Menschen
    Kloiber: Und was genau haben Sie herausgefunden?
    Spielkamp: Wir haben uns zwölf Länder anschauen können, und was wir in diesen zwölf Ländern herausgefunden haben, ist dass überall solche Systeme zur automatisierten Entscheidungsfindung eingesetzt werden, sowohl von Privatfirmen als auch von der öffentlichen Hand.
    Kloiber: Können Sie Beispiele geben?
    Spielkamp: Ja es gibt Beispiele aus der Privatwirtschaft, da ist zum Beispiel sehr verbreitet, dass Firmen dabei helfen, automatisiert oder halb automatisiert Bewerber auszuwählen. Also einzuschätzen, sind die geeignet für einen bestimmten Job. Dann gibt es Systeme, die dafür sorgen, dass zum Beispiel Werbung zu bestimmten Webseiten zugewiesen werden. Abhängig davon, welche Inhalte die haben und wo das dann ganz gut passen könnte, aber auch wo denn die Nutzer am meisten hinschauen, wo es die größte Wirkung erzielt. Und da ist es dann spannend zu sehen, was hat dieses System wiederum für eine Wirkung? Da ist es zum Beispiel in Slowenien so, dass das heftig kritisiert wurde dafür, dass nämlich viele dieser Werbung zum Beispiel auf Seiten landete, die rechtsradikale Inhalte verbreiten und denen natürlich dann Geld zufließt dadurch. Das also durchaus ein politisches Problem. Bei der öffentlichen Hand gibt es noch ganz andere Beispiele. Das ist meiner Ansicht nach das interessanteste Ergebnis dieses Reports, dass wir in sehr sehr vielen Ländern gesehen haben, dass diese Systeme eingesetzt werden für die Beurteilung in irgendeiner Art und Weise von Menschen. Also, haben die Sozialbetrug begangen? Da versucht man in den Niederlanden herauszufinden, ob das der Fall ist. In Italien wird darüber entschieden, welche Art von Behandlung jemand bekommt im öffentlichen Gesundheitssystem. In Polen werden Arbeitslose gescored, das heißt es wird also geguckt, wieviel Geld sollten die denn jetzt eigentlich bekommen aus dem Arbeitslosenhilfe-Topf. Da gibt es durchaus weitere Beispiele und das zeigt schon, dass das sowohl von den Privaten als auch von der öffentlichen Hand sehr stark genutzt wird und dass wir uns darüber unterhalten sollten, ob das alles so richtig ist, was da passiert.
    Datenschutz-Grundverordnung lässt weiten Spielraum
    Kloiber: Wann immer es bei automatisierten Entscheidungen System um das Wohl oder Wehe von Menschen geht, ist ja auch die Frage interessant - gibt es dafür einen Rechtsrahmen und wie ist der reguliert? Was haben Sie da herausgefunden?
    Spielkamp: Was wir da herausgefunden haben ist, dass es eben ganz unterschiedliche Ansätze gibt, diese Systeme zu regulieren. Ein ganz bekannter ist eben die Datenschutzgrundverordnung, die war ja in den letzten Monaten sehr viel in der Diskussion, und da gibt es eben auch Vorkehrungen darin, die sagen, dass automatisierte Entscheidungsfindung im Grunde genommen verboten ist und nur unter bestimmten Bedingungen erlaubt. Da muss man dann aber sehen, dass die Bedingungen, unter denen das erlaubt sein kann, so weitreichend sind, dass man doch wieder davon ausgehen muss, sie dürfen eingesetzt werden. Aber da haben wir ein sehr sehr interessantes Beispiel in Schweden gefunden: Die Gemeinde von Trelleborg nutzt einen Automatisierungssystem, um Entscheidungen in der Sozialverwaltung zu treffen. Und die sagen, das passiert vollautomatisch, ohne dass da nochmal ein Mensch drauf schaut. Das ist so ein typischer Fall, bei dem man erst einmal sagen würde: Das kann nach dieser Datenschutzgrundverordnung, die ja in der ganzen EU gilt, eigentlich nicht erlaubt sein und es gibt auch eine große Diskussion dort darum, aber die ist noch nicht beendet. Das heißt, da muss man dann immer ganz genau hinschauen, wie sieht dieses System konkret aus und was passiert da, um eine Einschätzung treffen zu können.
    Einheitliche Regulierung ist schwer zu realisieren
    Kloiber: Das, was man aus Ihren Beispielen, die Sie geschildert haben, schließen kann, ist ja eigentlich, dass es innerhalb der EU eine große Kakofonie in diesem Thema gibt, und vor allen Dingen werden diese Rechtsfragen eigentlich oft in Fachgesetzen oder in ganz unterschiedlichen Rechtsräumen geregelt. Müsste es nicht innerhalb der EU eine einheitliche Regulierung genau für das Thema automatisierte Entscheidungssysteme geben?
    Spielkamp: Ich bin da skeptisch, und zwar genau aus dem Grund, dass diese Automatisierungssysteme eben zu völlig unterschiedlichen Zwecken eingesetzt werden können. Und wenn sie sowas einsetzen, um eine Diagnose in der Medizin zu machen, dann ist das halt was anderes als ein automatisiert fahrendes Auto oder eben Bonitätsprüfung, also dieses Credit Scoring. Und das sind nur drei Beispiele, es gibt noch viel mehr. Da denke ich dann schon, dass es klar sein sollte, dass man sich das von Sektor zu Sektor genau anschauen muss. Es ist aber durchaus so, dass ich denke: Es kann ein guter Hebel sein, sich darüber Gedanken zu machen, ob man an bestimmten Stellen harmonisiert, damit wiederum der Druck steigt auf die Anbieter, sich auch dann gesetzestreu zu verhalten.
    Äußerungen unserer Gesprächspartner geben deren eigene Auffassungen wieder. Der Deutschlandfunk macht sich Äußerungen seiner Gesprächspartner in Interviews und Diskussionen nicht zu eigen.