Sonntag, 28. April 2024

Archiv

Unfall mit autonomem Uber-Auto
"Der Computer wusste schon, es kommt zur Kollision"

Am 18. März überfuhr ein autonom fahrendes Testfahrzeug des Taxi-Dienstleisters Uber nachts eine Fußgängerin. Laut Untersuchungsbericht habe die Sicherheitsfahrerin im Auto nicht einmal eine akustische Warnung bekommen, sagte der Informatiker Raúl Rojas im Dlf. Dabei habe die Software die Person vor dem Aufprall erkannt.

Raúl Rojas im Gespräch mit Ralf Krauter | 28.05.2018
    Der Screenshot eines Videos zeigt die Radfahrerin kurz vor dem Unfall mit dem selbstfahrenden Uber-Fahrzeug.
    Der Screenshot eines Videos zeigt die Radfahrerin kurz vor dem Unfall mit dem selbstfahrenden Uber-Fahrzeug. (Screenshot Twittervideo 22.3.2018 / @TempePolice)
    Ralf Krauter: Was ging Ihnen durch den Kopf, als sie den vorläufigen Untersuchungsbericht gelesen haben?
    Raúl Rojas: Ich denke, dass in diesem Untersuchungsbericht viele Fehler von Uber festgestellt werden. Der grundlegende Fehler ist, dass obwohl die Sensoren im Auto eine Person oder ein Hindernis auf der Straße erkannt haben, der Computer darauf vertraut hat, dass der Sicherheitsfahrer - in diesem Fall eine Frau, die Sicherheitsfahrerin - selber die Steuerung übernehmen würde. Das ist aber nicht passiert, weil sie abgelenkt war, und deswegen ist es zum Unfall gekommen. Der Fehler ist hier, dass, obwohl der Computer festgestellt hat, dass eine Bremsung notwendig ist, diese nicht ausgeführt wurde, weil darauf vertraut wurde, dass der Mensch im Auto das Ganze aufmerksam verfolgt.
    "Person wurde sechs Sekunden vor dem Aufprall erkannt"
    !!Krauter:! Dröseln wir das noch mal im Detail auf. Fangen wir mit den Sensoren an: Es war ja ein teilautomatisiert fahrender Volvo. Die Sensoren dieses Fahrzeugs haben die Radlerin, die nachts eine Straße überqueren wollte, sechs Sekunden vor dem Aufprall erfasst, also in über 100 Metern Entfernung. Das hätte zum Bremsen ja eigentlich dicke gereicht. Warum genau hat die Software dann keine Aktion eingeleitet?
    Rojas: Ja, die Person wurde sechs Sekunden vor dem Aufprall erkannt und der erste Fehler war, die Geschwindigkeit nicht zu reduzieren. Weil, obwohl nicht klar war, ob es ein Auto ist oder ein Passant oder ein Fahrrad: Das Erste, was man tut, ist, defensiv zu fahren. Das heißt, man muss einfach bremsen oder gar nicht mehr beschleunigen…
    "Der erste Fehler war, nicht defensiv zu fahren"
    Krauter: Man geht natürlich vom Gas.
    Rojas: Man geht vom Gas und hat dann mehr Zeit zum Abwägen. Das war der erste Fehler, nicht defensiv zu fahren in der Situation. Der zweite Fehler ist, dass tatsächlich schon bei 1,3 Sekunden die Person ungefähr in 25 Meter Abstand beobachtet wurde und der Computer schon wusste: Es kommt zur Kollision. Und der Sicherheitsfahrer hat nicht mal eine akustische oder sonstige Warnung gekriegt. Das ist das Mindeste, was man in dieser Situation erwartet hätte, wenn der Computer schon weiß, da vorne passiert gleich etwas, dann muss man mindestens dem Sicherheitsfahrer eine Warnung geben.
    "Nicht mal eine akustische Warnung"
    Krauter: 1,3 Sekunden vor dem Aufprall war dem Steuerungscomputer klar - das hat die Untersuchung jetzt belegt -, es gibt da gleich einen Zusammenstoß. Und die natürliche Reaktion einer intelligenten Maschine wäre ja dann, voll auf die Bremse zu treten. Aber diese Notbremsung ist nicht erfolgt. Warum eigentlich nicht?
    Rojas: Ja, was der Bericht sagt, ist, dass Uber sich selber nicht so sicher über das System ist. Und deswegen haben sie das ausgeschaltet. Es ist so, dass manchmal im Normalverkehr viele Grenzsituationen stattfinden, und vielleicht hat das Uber-Auto früher zu häufig gebremst und sich unruhig verhalten. Und um dieses dann auszuschalten, haben die Ingenieure von Uber das automatische Bremsen ausgeschaltet und sich voll auf den Sicherheitsfahrer verlassen. Die haben gedacht: Wenn die Person das sieht, dann wird die Person schon bremsen - und deswegen haben sie nichts unternommen. Aber nicht mal eine akustische Warnung zu geben, das empfinde ich schon als einen wesentlichen Fehler in diesem ganzen Vorgang.
    "Durch Bremsgeräusch wäre Passantin vielleicht weggesprungen"
    Krauter: Die akustische Warnung hätte dazu beigetragen, dass die offenbar abgelenkte Sicherheitsfahrerin die Aufmerksamkeit auf die Straße gelenkt hätte und noch hätte reagieren können?
    Rojas: Ja, und Zeit gab es sogar genug. Die Bremsspur, die man braucht, liegt im Bereich von 19 Meter. Es gab 25 Meter Abstand zu der Fahrerin. Wenn das Auto voll auf die Bremse getreten hätte, wenn der Computer das getan hätte, dann wäre der Unfall wahrscheinlich nicht passiert. Außerdem, allein durch das Geräusch von der Bremsung wäre vielleicht die Passantin auch weggesprungen. Sie hat das Auto bis zuletzt nicht gesehen.
    Bei Software-Unsicherheit "nicht sofort auf die Straße"
    Krauter: Heißt das denn, dass die Uber-Ingenieure also ein teilautomatisiertes Fahrzeug auf die Straße geschickt haben, dessen Steuerungssoftware sie selbst nicht so ganz trauten?
    Rojas: Ja, das ist so. Es ist ein Prototyp, nicht alles ist fehlerfrei, deswegen gibt es einen Sicherheitsfahrer im Auto. Aber dann muss man das schon extrem gut entwerfen. Man testet zum Beispiel nicht nachts, wenn der Sicherheitsfahrer nicht so richtig sehen kann. Wenn ich so ein System habe, das nur prototypisch jetzt vorhanden ist, dann teste ich vielleicht in geschlossenem Gelände. Wenn ich ein bisschen sicherer bin, was das System kann, dann teste ich tagsüber, aber zunächst nur bei gutem Wetter. Und so wird die Komplexität je nach Stand der Software langsam vergrößert. Aber man geht nicht sofort auf die Straße in der Nacht, wenn man selber nicht sicher über die Software ist.
    Krauter: Außer Ihnen haben das ja schon andere Experten moniert, dass da offenbar in der amerikanischen Start-up-Mentalität die Überzeugung verwurzelt ist, auch mit nicht ganz ausgereiften Produkten einfach mal einen gewagten Praxistest zu starten. Welche Folgerung würden Sie jetzt ziehen aus diesem tödlichen Unfall des Uber-Taxis? Uber darf ja in Arizona selbst bis auf Weiteres keine Tests mehr machen, aber woanders fahren ähnliche Fahrzeuge immer noch.
    72 Firmen mit autonomen Testfahrzeugen in Kalifornien
    Rojas: Ja, das ist ein Wettbewerb zwischen verschiedenen Bundesstaaten in den USA, die versuchen, diese Firmen anzusiedeln, und deswegen erlauben sie die Tests ohne so viel Vorbereitung. Ich denke, dass diesen Firmen nicht einfach erlaubt werden sollte, alles zu testen, was sie testen möchten. Es sollte eine Behörde darüber wachen. In Fall von Deutschland zum Beispiel gibt es den TÜV. Und der TÜV verteilt solche Ausnahmegenehmigungen für Stadtfahrten oder Autobahnfahrten. Und das wird nicht jedem erlaubt, der jetzt sagt, ich will mit einem Auto testen, dass das Auto fährt. In Kalifornien gibt es heute etwa 72 Firmen, die autonome Fahrzeuge in Kalifornien testen - einige davon gerade erst gegründet. Und ich kann mir nicht vorstellen, dass alle die Sicherheitsstandards abdecken können, die notwendig sind für solche Fahrten.
    "Unabhängige Experten sollten Software überprüfen"
    Krauter: Also eigentlich ein klarer Appell an die Regulierungsbehörden, in diesem Fall in den USA, da künftig genauer hinzuschauen.
    Rojas: Ja, natürlich, das ist die Aufgabe des Staates, dass die Behörden, wenn es um die Sicherheit der Menschen geht, alles versuchen, um die zu maximieren. Und im Fall des Unfalls von Uber sollten auch unabhängige Experten die Rohdaten, sogar die Software überprüfen, weil man kann sich nicht allein auf die Aussagen von Uber stützen und sagen: Uber erzählt uns, es ist das und das passiert. Da müssen Experten ran und sollten diese Daten bekommen.
    Bilder und Uber-Bericht "nicht widerspruchsfrei"
    Krauter: Haben Sie denn beim Lesen des Berichts an irgendeiner Stelle gedacht, hm, da bin ich mir nicht ganz sicher, ob Uber da tatsächlich die komplette Wahrheit auf den Tisch gelegt hat?
    Rojas: Ja, ich denke: Die Bilder, die geliefert wurden, zusammen mit dem Bericht von Uber, die sind nicht widerspruchsfrei. Man sieht, dass das Auto doch die Mitte der Spur verlassen hat und etwas nach rechts gefahren ist. Das heißt, der Steuerungscomputer hat schon versucht, einem Hindernis auszuweichen. Und deswegen denke ich: Vielleicht lag der Fehler daran, dass der Computer dachte, man kann sich an diesem Hindernis vorbeimogeln und deswegen nicht gebremst wurde. Und vielleicht ist es nicht so, wie Uber sagt, dass das Notbremssystem ausgeschaltet war. Vielleicht war es doch eingeschaltet, aber die Kombination zwischen Vorhersage von der Position von der Passantin und der Dynamik des Fahrzeugs, diese Vorberechnung hat versagt.
    Krauter: Das heißt, es könnte sein, die Maschine hat entschlossen, ich kann ausweichen, hat aber diesen Ausweichkurs dann falsch berechnet. Das wäre eine Möglichkeit, die wir gerade nicht belegen können, aber die als Spekulation im Raum steht.
    Rojas: Das ist eine Möglichkeit. Und wenn man sich die Bilder anschaut, die von den Behörden geliefert wurde, dann ist diese Möglichkeit nicht auszuschließen.
    Äußerungen unserer Gesprächspartner geben deren eigene Auffassungen wieder. Der Deutschlandfunk macht sich Äußerungen seiner Gesprächspartner in Interviews und Diskussionen nicht zu eigen.