"Es ist zumindest gezeigt worden, dass bei Systemen, die in Produktion sind, diese Attacken möglich sind. Zum Beispiel Bilderkennungsdienstleistungen, die über die Cloud angeboten werden. Da haben Forscher gezeigt, dass es möglich ist, sogar ohne detailliertes Wissen über den Hintergrund dieser Systeme und die Implementierung dieser Systeme, Eingaben zu erzeugen, die missklassifiziert wurden von diesem System."
Manfred Kloiber: So zurückhaltend beschreibt Dr. Mathieu Sinn vom IBM-Forschungslabor in Dublin eine ganz neue Gefahr, nämlich digitale Angriffe auf Computersysteme, die mit künstlicher Intelligenz arbeiten:
Welche KI-Systeme sind denn da bisher angegriffen worden, Peter Welchering?
Peter Welchering: Das sind in erster Linie Systeme, die mit Mustererkennung und Methoden maschinellen Lernens arbeiten. Die werden in der Bildverarbeitung eingesetzt, zum Beispiel in der Qualitätssicherung. Aber auch das selbstfahrende Auto kann damit angegriffen werden. Auch entscheidungsunterstützende Systeme sind da ein Ziel. Also zum Beispiel diejenigen Systeme, mit denen Banken und Kreditauskunfteien berechnen lassen, wie kreditwürdig jemand ist. Dafür wird ja die Prognose berechnet, ob er seinen Kredit auch wohl zurückzahlen wird. Betroffen sind auch Systeme, wie sie in der amerikanischen Justiz eingesetzt werden, um die Sozialprognose eines Strafgefangenen zu berechnen. Das schlägt sich auf die Entscheidung nieder, ob ein Strafgefangener vorzeitig auf Bewährung entlassen wird oder nicht. Und auch sogenannte Lagesysteme, wie sie von Militärs eingesetzt werden, die also einen bevorstehenden Angriff, digital und konventionell, frühzeitig erkennen sollen, können so angegriffen werden. Das ist ein sehr ernstes, sehr alarmierendes, vor allen Dingen aber erheblich unterschätztes Problem.
Kloiber: Wie leicht solche Computersysteme angegriffen werden können, die mit Methoden künstlicher Intelligenz arbeiten, das hört sich teilweise schon ein wenig abenteuerlich an:
Das selbstfahrende Auto fuhr frontal in einen LKW. Ursache war eine falsche Mustererkennung. Denn das KI-System hatte die blaue Plane des LKW als Himmel interpretiert und keine Gefahr für eine Weiterfahrt gesehen. Die entscheidende Frage lautet: Wie kam es zu dieser falschen Entscheidung des KI-Systems? Mögliche Ursachen sind Fehler in der Programmierung, falsch gewählte Trainingsdaten oder ein direkter Angriff auf das Computersystem mit Künstlicher Intelligenz. Dr. Mathieu Sinn, der sich am IBM-Forschungslabor in Dublin mit Sicherheitsfragen beim Einsatz von KI-Systemen beschäftigt, hat gleich mehrere Angriffsstrategien analysiert.
"Ein Angriffspunkt sind die Eingaben. Da besteht der Angriffspunkt darin, dass der Angreifer die Eingaben variiert. Häufig versucht er, sie so zu variieren, dass es für einen Menschen nicht erkennbar ist, dass eine Veränderung stattgefunden hat."
Bei Bilderkennungssystemen reicht es aus, weniger als ein Prozent der Eingabepixel zu verändern, um eine falsche Entscheidung des KI-Systems zu verursachen. Solche Manipulationen an den Eingabedaten werden häufig auf Dateiebene vorgenommen. Die Bild- oder Videodatei wird dann manipuliert. Dabei kann eine erstellte Datei verändert oder der Eingabe-Stream umgeleitet und dabei manipuliert werden. So lässt sich auch Gesichtserkennung oder ein KI-basiertes Überwachungssystem auf Flughäfen und Bahnhöfen ausmanövrieren. Eine zweite Angriffsstrategie zielt auf das KI-System in der Trainingsphase, also bevor es richtig eingesetzt wird. Mathieu Sinn:
"Der andere große Angriffspunkt sind die Trainingsdaten. Das sind dann die sogenannten Poisening oder Vergiftungsangriffe, wo der Angreifer den Trainingsdatensatz ergänzt typischerweise mit Daten, die falsch kategorisiert sind, was dann dazu führt, wenn das Modell tatsächlich angewendet wird, dass dann diese Hintertür aktiviert werden kann."
Das führt dann zum Beispiel zu statistischen Verzerrungen. Weil KI-gestützte Systeme ihre Entscheidungen oftmals auf Basis von Wahrscheinlichkeitsrechnungen treffen, kommt es so zu falschen Entscheidungen. So können etwa Computerprogramme, die berechnen, mit welcher Wahrscheinlichkeit ein Häftling bei vorzeitiger Entlassung wieder straffällig wird, schon vor ihrem Einsatz manipuliert werden. Bei der dritten Angriffsstrategie werden die Gewichtungsfaktoren für einzelne Ausgangsdaten verändert. Wird zum Beispiel für die Berechnung von Kreditwürdigkeit das Jahreseinkommen nur einfach, die deutsche Staatsbürgerschaft aber zum Beispiel achtfach gewichtet, haben Bürger anderer Staaten schlechtere Chancen und Bedingungen bei einem Kreditantrag. Deshalb müssen KI-Systeme ständig kontrolliert werden. Hier sieht der Informatiker Dr. Clemens Dannheim von der Münchner KI-Forschungsschmiede Objective GmbH noch Nachholbedarf.
"Ich bin auch der Meinung, dass an der Stelle zu wenig passiert. Wir haben jetzt kürzlich zwei oder drei Forschungsarbeiten in unserem Lab mal vorgestellt. Und da habe ich mir die Frage gestellt: Tun wir eigentlich an der Stelle genug in Deutschland, um hier genügend Qualität auch herauszubekommen. An der Stelle müsste man sicherlich mehr investieren, um an diesen besonderen Punkten mehr Ergebnisse zu erzielen und eine tragfähigere Technologie auch herauszubekommen."
Die Organisierte Kriminalität jedenfalls rüstet auf, was Angriffe auf KI-Systeme angeht. In den einschlägigen Untergrundforen werden Angriffe auf Bilderkennungssysteme ab 7000 Dollar angeboten, Angriffe auf KI-Systeme für die Personalauswahl kosten mindestens das Doppelte.
Kloiber: Da tut sich also ein ganz neues Geschäftsfeld für die digitale Kriminalität auf. Wie können wir uns denn gegen solche Angriffe auf KI-Systeme verteidigen, Peter?
Welchering: Insgesamt hilft da nur ständige Kontrolle. Und die setzt Transparenz bei den Systemen voraus. Die Betreiber von KI-Systemen, und natürlich auch die Hersteller, müssten verpflichtet werden, unabhängigen Prüfinstanzen zu sagen, wie ihr Lernmodell, das sie beim maschinellen Lernen verwenden, erzeugt worden ist. Die Trainingsdaten, mit denen ein KI-System angelernt wird, müssen ebenfalls offengelegt werden. Denn nur so lassen sich statistische Verzerrungen erkennen, aus denen dann falsche Entscheidungen resultierten. Und die Entwickler müssen insgesamt die Robustheit ihrer Systeme erhöhen. Ein Bilderkennungssystem ist zurzeit bei einer Veränderung der Pixel von unter einem Prozent schon zu manipulieren. Das ist ein katastrophaler Wert.
Kloiber: Was müsste denn getan werden, damit die Systeme robuster werden?
Welchering: Bei der Bilderkennung lässt sich das recht einfach machen. Da werden ja Erkennungsschleifen durchlaufen. Zuerst werden grobe Muster in den Bilddaten erkannt. Das sind zum Beispiel Kantenverläufe oder wo sich bestimmte Farbkonzentrationen ansammeln. Hier gibt es unterschiedliche Verfeinerungsstufen, bis die Eingabedatei dann klassifiziert, also ein Bild erkannt wird. Mit je mehr Verfeinerungsstufen hier gearbeitet wird, umso größere Veränderungen muss der Angreifer an den Eingabedaten vornehmen. Bei den Prognosesystemen kommt hinzu, dass die Gewichtungen, mit denen ein solches System arbeitet ständig kontrolliert werden müssen.
Kloiber: Wer muss diese Kontrollen vornehmen?
KI-Systeme müssen systematisch auf Verzerrungen getestet werden
Welchering: Im Produktionsbetrieb müssen Eingabedaten und Gewichtungen von einem Kontrollsystem überwacht werden. Allerdings müssen sowohl dieses Kontrollsystem als auch dann das eigentliche KI-System von Zeit zu Zeit immer wieder systematisch auf Verzerrungen getestet werden. Das heißt, in das KI-System werden bei diesen Prüfläufen vorher ausgiebig analysierte Testdaten eingegeben, dann wird das Ergebnis angeschaut. Das müsste sich in der Entscheidung oder der Klassifikation von Mustern genau prognostizieren lassen. Danach verändern die Prüfer die Eingabedaten leicht und schauen sich an, zu welchen Änderungen bei der Entscheidung oder Klassifikation das führt. Das machen sie bis zu dem Punkt, an dem das KI-System sich unerwünscht verhält, also eine falsche Entscheidung trifft, falsch klassifiziert. Dann wird die gesamte Reihe mit den Veränderungen bei den Eingabedaten angeschaut, und so lässt sich rekonstruieren, ab welcher Veränderung das System falsch entscheidet, prognostiziert, klassifiziert. Da muss der menschliche Spezialist, der KI-Entwickler, dann händisch eingreifen.
Kloiber: Damit wird aber die Manipulation von Eingabedaten nicht verhindert?
Welchering: Nein, damit werden die Auswirkungen dieser Manipulation erkannt und es wird verhindert, dass die in Entscheidungen einfließen. In einigen Echtzeitanwendungen muss schon die Manipulation der Eingabedaten verhindert werden. Das ist richtig. Da muss sozusagen der Eingabestream in Echtzeit darauf untersucht werden, ob hier eine Manipulation vorliegt. Weil Manipulationsangriffe eben auch nach bestimmte Mustern ablaufen, kann hier ein fortwährendes Gegenchecken mit einer überprüften Mustererkennung helfen. Erkennt diese Mustererkennung eine Unregelmäßigkeit, schlägt sie Alarm. Weichen die Ergebnisse bei der Mehrfachprüfung von Mustern voneinander ab, wird ebenfalls Alarm geschlagen. Das sind im Augenblick so die Verteidigungskonzepte, an denen allerdings auch noch massiv geforscht wird.
Kloiber: Wie lassen sich Angriffe auf KI-Systeme denn nachweisen?
Welchering: Das macht den Forensikern in der Tat noch ein wenig Kopfzerbrechen. Denn bei Angriffen auf die Trainingsdaten steht ein sehr aufwendiger Prozess der Überprüfung sämtlicher Datensätze und ihrer Herkunft an. Bei den Eingabedaten ist das davon abhängig, ob sie als Datei vorliegen oder als laufender Stream hereinkommen. Bei den Dateien reichen die üblichen forensischen Methoden, mit denen Dateimanipulationen nachgewiesen werden können. Beim Eingabestream haben wir es häufig mit der Manipulation am Sensor oder mit der Umgebung des Sensors zu tun. Dafür haben sich in der Vergangenheit die Forensiker der Militärs interessiert, weil solche ähnlichen Methoden bei der Manipulation von Radarsystemen eingesetzt wurde. Das auf Sensoren beim selbstfahrenden Auto, auf Videoüberwachungssysteme zu übertragen, ist aufwendig, aber machbar. Das Problem liegt vielmehr darin, dass Angriffe auf KI-Systeme zur Zeit nicht erkannt werden, weil die Betroffenen und auch viele Sicherheitsexperten gar nicht daran denken, dass hier ein Angriff überhaupt vorliegen könnte.
Kloiber: Sicherheit bei KI-Systemen – darüber sprach ich mit Peter Welchering, vielen Dank.
