Algorithmen im Arbeitsamt
Wenn Künstliche Intelligenz Bürger verwaltet

Finanzämter, Arbeitsagenturen, Sozial- und Bürgerämter, eigentlich die gesamte öffentliche Verwaltung hat ein chronisches Problem: "Mitarbeiterinnen und Mitarbeiter dringend gesucht. Bundesweit fehlt den Finanzbehörden Personal." - "Viele der 6.500 Bezirksbeschäftigten im öffentlichen Dienst sind laut Verdi am Ende ihrer Kräfte. Der Personalmangel sei eklatant."
Wo sich bisher zu wenig Sachbearbeiter, zu wenige Beamte um die Belange der Bürgerinnen und Bürger kümmern, soll künftig der Computer für eine reibungslose Verwaltung sorgen. Noch merkt man kaum etwas davon. Noch sind Algorithmen, Künstliche Intelligenz und maschinelles Lernen hierzulande selten im Einsatz. Andere Länder Europas, in denen ebenfalls Personalmangel in Ämtern und Behörden herrscht, sind da weiter. Klaus Vitt, Staatssekretär im Bundesinnenministerium, macht sich da nichts vor: "Wenn wir uns vergleichen mit Dänemark oder Österreich, da haben die vor zehn Jahren begonnen und haben sehr stringent an der Digitalisierung der Verwaltung gearbeitet. Wir haben natürlich auch eine große Herausforderung."
Rund 11.000 Kommunen in 16 Bundesländern, das bedeutet viel Abstimmungsarbeit und viele Konflikte bei der digitalen Vernetzung von Verwaltungsabläufen. Umso mehr freut sich die Staatsministerin im Kanzleramt, Dorothee Bär, dass im September 2018 die Testversion eines Bürgerportals online gegangen ist. "Wir haben - Gott sei Dank - auch mal nicht den klassisch deutschen Weg gewählt, dass wir gesagt haben, wir warten mal, bis alle Bundesländer soweit sind, wir warten bis alle 575 zu digitalisierenden Verwaltungsdienstleistungen soweit sind, sondern wir fangen mit wenigen an – mit einigen Ländern, einigen Kommunen und einigen Anwendungen."
In dieser so genannten Beta-Phase können Bürgerinnen und Bürger erste Anwendungen testen. "Wir machen Elterngeld, Kindergeld, Anmeldung, Ummeldung, also Personenstaatswesen, Kfz-, Kleingewerbe-Anmeldung. Aber auch Blockchain und oder Künstliche Intelligenz sind natürlich Bereiche, die gut in der Verwaltung einzusetzen sind."
Und da sind sie, die Schlüssel-Begriffe, von denen sich Politiker und Berater viel erhoffen. Unter "Künstliche Intelligenz" kurz KI, einem Fachgebiet der Informatik, versteht die Fachwelt zumeist technische Verfahren, die versuchen, Denk- beziehungsweise Entscheidungs-prozesse des Menschen nachzubilden. Die Software ist mit Hilfe von Algorithmen, also Berechnungsabläufen, in der Lage, zu Erkenntnissen und Ergebnissen zu gelangen. Und diese Erkenntnisse und Ergebnisse sind es, die die Verwaltung im großen Stil effizienter machen sollen.

Teile der Wissenschaft sehen es etwas nüchterner. Beispielsweise der Forscher Resa Mohabbat Kar. Er ist wissenschaftlicher Mitarbeiter im Kompetenzzentrum Öffentliche IT am Fraunhofer-Institut für Offene Kommunikationssysteme in Berlin. "Wir sind momentan in einem Hype. Die Informatik hat uns in den vergangenen 50, 60 Jahren aber eine ganze Bandbreite an Werkzeugen zur Verfügung gestellt. Und ich glaube, es ist auch ein Stück weit die Aufgabe des Staates, kritisch zu reflektieren, was brauchen wir für Technik für welche Aufgaben."
Nicht immer brauche es KI. Wenn doch, dann nutzen Entwickler oft Methoden des maschinellen Lernens. Das sind Routinen, die – stark vereinfacht beschrieben – anhand von Beispiel-Daten Muster und Gesetzmäßigkeiten erkennen können. Doch schon beim Füttern der Computer, beim so genannten "Lehrmaterial" für die Maschine kann einiges schiefgehen.

So sorgen schlecht gewählte Ausgangsdaten für schlechte Ergebnisse, erklärt Resa Mohabbat Kar vom Kompetenzzentrum Öffentliche IT: "Entscheidend ist, dass diese Daten repräsentativ sind, dass sie aktuell sind, dass sie nicht fehlerhaft sind. Das bedeutet, dass ein enormer Aufwand entsteht, um diese Daten entsprechend zu bereinigen. Man kann auf bestimmte Bereinigungsschritte verzichten, aber dann bekommen Sie ein entsprechend verzerrtes Bild."
So besteht die Gefahr, dass schlecht ausgewählte Daten die Realität verzerrt darstellen, gesellschaftliche Prozesse nicht oder nur unzureichend abgebildet werden. Ein Problem, mit dem sich die Medienforscherin Nele Heise befasst. Die Hamburgerin ist Mitbegründerin des "Otherwise Network", einer Gruppe von Praktikern und Theoretikern, die sich mit dem technologischen Wandel befasst. "Wenn wir zum Beispiel einen Algorithmus oder ein lernendes System mit bestimmten Daten füttern, dann sind da Daten aus der Gegenwart beziehungsweise Vergangenheit. Wenn zum Beispiel es früher die Norm war, bestimmte Familienmodelle auch zu erheben und abzufragen, dann kann es sein, dass Daten aus dieser Zeit für Ungleichheiten heute sorgen, wenn die Algorithmen auf dieser Grundlage lernen."
Die Maschine verarbeitet, was ihr gegeben wird. Die Algorithmen ziehen ihre Schlüsse auf dieser Basis. Das schafft unter Umständen Ungleichheiten beziehungsweise verstärkt diese. Im schlimmsten Fall kommt es zu Diskriminierung durch den Einsatz der digitalen Systeme. Das Bundesinnenministerium, als eines der in der Verwaltungs-Digitalisierung tonangebenden Ministerien, ist sich der Problematik bewusst. Staatssekretär Klaus Vitt: "Diskriminierung muss man beim Einsatz von künstlicher Intelligenz genau beobachten. Dafür haben wir – das Innenministerium und das Ministerium für Justiz und Verbraucherschutz – eine Datenethikkommission eingesetzt, um ethische Maßstäbe und Leitlinien zu erarbeiten, um die Diskriminierung auf ein Minimum zu reduzieren."
Die Datenethikkommission soll Antworten finden auf ethische und rechtliche Fragen bei der Einführung von KI-gestützten Systemen. Techniker und Wissenschaftler sollen die Kommission beraten. Neben der Ethik-Kommission soll laut BMI Regulierung den Rahmen schaffen für diskriminierungsfreie Ergebnisse beim Einsatz von Künstlicher Intelligenz in der Verwaltung. Selbstlernende Algorithmen könnten nach Vorstellungen im Ministerium einer Art "Algorithmen-TÜV" unterzogen werden. Das hören Prüforganisationen sicher gern. So forderte beispielsweise der TÜV-Verband in der Vergangenheit bereits häufiger die Einrichtung einer solchen Prüfinstanz.

Wie gehen Deutschlands Nachbarn mit der Herausforderung um? In Polen und in den Niederlanden helfen so genannte smarte Programme bereits bei der Bewältigung des Verwaltungsaufwands. In Österreich steht ein KI-System vor dem Start. Es soll ab 2019 helfen, Arbeitssuchende je nach Vermittlungschancen in Kategorien einzuteilen. Bürgerrechtler sind wenig begeistert. Sie beklagen, dass hier wirtschaftlich Schwache maschinell verwaltet werden sollen und befürchten neben Fehleranfälligkeit Diskriminierung durch die technischen Systeme.

Die Erfahrung mit einer Software, die seit 2015 in polnischen Jobcentern im Einsatz ist, bestätigt diese Befürchtungen zum Teil. Wie in Österreich geplant, teilt das polnische System die Jobsuchenden schon heute in drei Kategorien ein. In die erste fallen meist gut gebildete junge Menschen, die auch ohne Förderung schnell einen Job finden. Jobsuchende in der zweiten Kategorie werden gefördert, um besser vermittelt werden zu können. Kritisch sei die dritte Kategorie, erklärt Jendrek Niklas. Er forscht an der London School of Economics und hat mit der polnischen Bürgerrechtsstiftung Panoptykon das System ausgewertet. "Denn Menschen der dritten Kategorie bekommen keine Förderung. Das sind Menschen mit Gesundheitsproblemen, alleinerziehende Mütter, Drogensüchtige, Alkoholiker."

Wer in welche Kategorie fällt, entscheiden in erster Linie die Algorithmen. Doch nach welchen weiteren Kriterien? Das ist nicht bekannt. Zwar klagten die Bürgerrechtler erfolgreich und bekamen einen Teil des zugehörigen Fragenkatalogs nebst Antworten frei, die Berechnungen und der Programmcode aber blieben unter Verschluss. Das macht es schwer Fehleinschätzungen anzufechten oder überhaupt zu bemerken. Die digitalen Abläufe, so Jendrek Niklas, würden dabei bereits vorhandene Schwächen in der Verwaltung noch befördern.
"Es ist nicht so, dass die Systeme wirklich eine neue Ebene an Problemen gebracht haben. Sie verstärken aber die Folgen beispielsweise des Personalmangels. Die Systeme sind ein Baustein, der im Moment mehr schadet als nützt, aber eben doch nur ein Spiegel der elementaren Probleme der Institution Arbeitsamt."
Mohabbat Kar vom Fraunhofer Institut sagt, die Algorithmen seien insofern ein Spiegel der Gesellschaft. So fördere Technik Schwachstellen zutage. Anders ausgedrückt: die Verstärkung der Prozesse macht den Blick frei für Abläufe, die schon zuvor in der Arbeitsvermittlung Gang und Gäbe waren. Denn das Einsortieren in Kategorien mit aller Fehleranfälligkeit, ist keine Erfindung der digitalen Welt. "Dieses System, indem es sich an dieser Gesellschaft, an der Realität orientiert, reproduziert auch diesen Status quo und manifestiert es."
Umgekehrt, so der Wissenschaftler, sei damit aber auch denkbar, dass gesellschaftliche Prozesse durch den Einsatz künstlicher Intelligenz in der Verwaltung in eine bestimmte Richtung gelenkt werden könnten. Das wiederum werfe andere ethische Fragen auf. "Das Ziel der Gleichstellung zwischen Mann und Frau kann entsprechend designt werden. Die Bevorzugung bestimmter gesellschaftlicher Gruppen kann hinein implementiert werden in eine Software. Meines Erachtens bedarf das genauso viel gesellschaftlicher Aushandlung, Diskussion wie sozusagen die Diskriminierungspotenziale. Wer entscheidet, welche gesellschaftlichen Gruppen bevorzugt werden sollen durch KI-Systeme?"

Chancen und Risiken durch Algorithmen – Resa Mohabbat Kar warnt, mit der bloßen Umsetzung digitaler Ziele und der Nutzung von Künstlicher Intelligenz in Verwaltungsabläufen sei es nicht getan. Es brauche immer auch Überprüfung, Evaluierung der Einzelergebnisse und eine Betrachtung der gesellschaftlichen Folgen. "Und das sind Folgen, die man üblicherweise erst mit Verzögerung sieht, nachdem eine Software eingesetzt wurde."
In Deutschland ist das Bundesamt für Migration und Flüchtlinge, kurz BAMF, eine der wenigen deutschen Behörden, die bereits Erfahrungen mit Digitalisierung und Künstlicher Intelligenz in der Verwaltung gesammelt haben. Markus Richter, Vizepräsident des BAMF: "Wir haben bei der Spracherkennung ein System aufgebaut, das in der Lage ist, die arabischen Hauptdialekte zu erkennen."

Damit ist die Behörde weltweit die erste, die die arabischen Hauptdialekte in einem solchen System abgebildet hat. Weitere Dialekte sollen folgen. Bei der Analyse verlässt sich das System nicht auf einzelne Wörter, sondern ausschließlich auf die Phonetik, also wie Vokale oder Konsonanten ausgesprochen werden. Die Nutzung des Systems ist simpel: Der Antragsteller spricht im Büro des Bundesamtes über ein Telefon am Stück zwei Minuten lang dem System etwas vor. Dabei ist es nicht so wichtig, was gesagt wird, sondern, dass flüssig gesprochen wird. Die Verarbeitung erfolgt zentral auf den Servern der Behörde. "Dann gibt das System in einem Report zurück auf den Arbeitsplatz des Mitarbeitenden, wo dann Wahrscheinlichkeitswerte drin sind."
Die Technik liefert also, wenn man so will, eine Schätzung ab. Wahrscheinlichkeitswerte wie diese, sind genau das, was Kritiker stört. Resa Mohabbat Kar vom Kompetenzzentrum Öffentliche IT: "KI operiert auf der Grundlage von Wahrscheinlichkeiten. Also Person X ist mit so und so viel prozentiger Wahrscheinlichkeit aus der Türkei oder aus Syrien, hat mit so und so viel prozentiger Wahrscheinlichkeit zu Unrecht Transferleistungen erhalten. Ist mit so viel prozentiger Wahrscheinlichkeit die gesuchte Zielperson. Ganz grundsätzlich zu statistischen Verfahren kann man sagen, dass sie nie etwas über den konkreten Einzelfall aussagen."

Markus Richter, Vizepräsident des Bundesamtes für Migration und Flüchtlinge, ist sich der begrenzten Aussagekraft des Systems bewusst, die Technik liefere hier Hilfestellung, ersetze aber die Mitarbeiter nicht. "Die Informationen, die wir generieren, sind nichts anderes als Indizien, die zu weiteren Fragen Anlass geben können. Keines dieser Systeme generiert einen Beweiswert, wo schwarz auf weiß drinsteht, dass es zu 100 Prozent genau die Identität ist, die hier angegeben worden ist. Es sind nur Indizien, Puzzlesteine, die da zusammengefügt werden und insofern ändert sich an der Arbeitsweise unserer Mitarbeitenden eigentlich nichts."
Außerdem würden die Systeme von den Betroffenen gut angenommen. "Weil es eine gute Möglichkeit ist, ihre eigene Geschichte zu plausibilisieren, auch wenn sie keine Dokumente dabei haben. Denn wir müssen sehen: In vielen Fallkonstellationen müssen Ausweisdokumente auf der Reise sogar vernichtet werden, damit die Flucht überhaupt gelingen kann. Diese Systeme bieten jetzt Gelegenheit, die Geschichte selbst zu plausibilisieren. Und deswegen haben wir damit sehr viel positive Erfahrungen gemacht."
Das BAMF gibt die Fehler-Quote der Spracherkennung mit zehn bis 18 Prozent an. Welche Ungenauigkeiten beim Einsatz von technischen Systemen akzeptabel sind, darüber lässt sich streiten. Denn auch Menschen machen Fehler. Resa Mohabbat Kar sagt: "Es ist extrem schwierig und heikel für staatlich eingesetzte Systeme, so etwas wie akzeptable Fehlerquoten zu definieren. Selbst wenn durch den Einsatz die gesamte Leistung der Verwaltung in einem konkreten Anwendungsbereich verbessert wird, die Fehler wiegen natürlich extrem schwer. Das sind dann Einzelschicksale."
Auch beim Bundesinnenministerium ist man sich der Gefahr von Fehleranfälligkeit technischer Systeme in der Verwaltung bewusst. Staatssekretär Klaus Vitt: "Wichtig ist grad bei den Werkzeugen mit künstlicher Intelligenz, dass es keine Entscheidung sind, sondern immer nur Entscheidungshilfen. Aber die finale Entscheidung trifft immer der Sachbearbeiter."
Resa Mohabbat Kar hat trotzdem Bedenken. So müsse gesichert sein, dass der Mensch von einer Empfehlung der Maschine auch abweichen kann: "Wir wissen aus der Forschung, dass es einen klaren Bias gibt zugunsten der maschinellen Empfehlung. Der Mensch neigt dazu, Verantwortung zu delegieren, dort wo er im Tandem mit der Maschine arbeitet. Also bei Fehlern kann ich immer auf die Maschine zeigen."

Ein Beispiel aus den Niederlanden zeigt, wie Einschätzungen von Algorithmen unerwünschte Nebenwirkungen erzeugen. Das System namens ‚System Risk Indication‘, kurz SyRI, sucht nach Steuer- und Sozialhilfebetrügern. Anfangs sei das System kaum in der Öffentlichkeit wahrgenommen worden, beschreibt Mirko Tobias Schäfer, Associate Professor an der Utrecht University und Projektleiter der Utrecht Data School. Das änderte sich 2018: "Es regt sich hier deutlicher Widerstand. Es gibt also Bürgergruppen und vor allem Privacy Groups, die sich dafür einsetzen, dass dieses System abgeschaltet wird oder in anderer Form angewendet wird."
Die Kritiker stören sich an der Intransparenz von SyRI. Vor allem kritisieren sie, dass alle Menschen unter Generalverdacht gestellt werden. Der umfassende Zugriff auf die Daten niederländischer Bürger lasse sich durch die bisherigen Ergebnisse nicht rechtfertigen. Im Gegenteil: "Ich habe nachgelesen, dass ein System, das auf kommunaler Ebene eingesetzt wurde, 22 Verdächtige hervorgebracht hat, von denen man schlussendlich nur neun einen Betrug nachweisen konnte. Also hier steht wirklich die Proportionalität des Systems zur Frage."

Für Medienforscherin Heise eignet sich das Beispiel für grundsätzliche Skepsis gegenüber digitalen und KI-basierten Systemen in der öffentlichen Verwaltung: "Wir sollten eine gesellschaftliche Debatte darüber führen, an welchen Stellen solche Systeme einerseits eine Chance darstellen, indem sie uns helfen Sozialbetrug aufzudecken oder eben auch anderes Handeln, Steuerbetrug – ein schönes Stichwort, das dem Gemeinwohl schadet. Oder ob man so eine Art neue Form der gesellschaftlichen Spaltung entwickelt und Leute unter Generalverdacht stellt."
Bei aller Skepsis wird der Einsatz Künstlicher Intelligenz in der öffentlichen Verwaltung nicht aufzuhalten sein. Nicht nur, aber auch, weil es an Personal fehlt. Ohne digitale Unterstützung sei beispielsweise die Arbeit im Bundesamt für Migration und Flüchtlinge nicht zu schaffen, so BAMF-Vize Markus Richter. "Meine Prognose ist ganz klar und das gilt auch für die gesamte öffentliche Verwaltung. Dass die künstliche Intelligenz noch deutlich stärker Einfluss haben wird."
BMI-Staatssekretär Klaus Vitt zeigt sich zurückhaltender. Aber auch er kann sich weitere Einsatzbereiche vorstellen. "In der Verwaltung stehen wir da am Anfang. Wir haben dort einzelne Piloten und Prototypen. Ein weiteres Thema wäre im Bereich Cybersicherheit zum Beispiel beim BSI. Da denken wir darüber nach, Künstliche Intelligenz einzusetzen, um frühzeitig Anomalien im internen Netz zu erkennen."
In jedem Fall erfordert der Einsatz von Algorithmen und digitalen Systemen in der Verwaltung eine große Anzahl an Spezialisten. Denn sowohl die für Beschaffung Zuständigen als auch die Menschen, die die Maschinen am Ende bedienen sollen, müssten entsprechend ausgebildet sein. Resa Mobabbat Kar vom Kompetenzzentrum Öffentliche IT. "Was wir sehen, mit Blick auf Technik Know How klafft eine riesige Lücke zwischen öffentlichen und privaten Sektor insbesondere im Zusammenhang mit KI-basierten Systemen. Es entstehen so auch Abhängigkeiten."
Mit der Anschaffung der Technik und der Vernetzung von Daten in den Verwaltungen ist es also nicht getan. Aus den Erfahrungen in den Niederlanden mit Künstlicher Intelligenz zieht Mirko Tobias Schäfer den Schluss: "Wir brauchen eben Anwälte, Politiker, Journalisten, die mit diesen Techniken umgehen können, die die richtigen Fragen stellen können. Und auf der anderen Seite brauchen wir in der Politik und der öffentlichen Verwaltung, die erklären können, was sie einsetzen und warum sie es einsetzen."