Von Rücksichtslosigkeit und Ignoranz:
Die Lehren aus dem Uber-Crash

Der umgebaute Volvo XC90, den Uber für seine Testfahrten in Tempe, Arizona nutzte, nach dem Unfall, der die 43-jährige Elaine Herzberg das Leben kostete. Das Foto stammt vom National Transportation Safety Board, das die Untersuchung des Vorfalls übernahm. (Copyright: public domain)

Am 18. März 2018 starb Elaine Herzberg auf einer vierspurigen Straße in Tempe, Arizona. Die Amerikanerin hatte, ihr Fahrrad schiebend, versucht, die Straße zu Fuß zu überqueren. Getroffen wurde sie von einem Testfahrzeug des Unternehmens Uber, das in der Stadt seine hochautomatisierten Fahrzeuge erprobte. Der Volvo traf Elaine Herzberg ungebremst mit einer Geschwindigkeit von knapp 70 Kilometern pro Stunde. Sie war die erste Fußgängerin überhaupt, die von einem „autonomen“ Fahrzeug getötet wurde. Doch warum kam Herzberg zu Tode? War sie unvermittelt vor Ubers Volvo getreten? Hatte der Testfahrer zu spät reagiert, der die Fahrt des Systems überwachen sollte? Hatte die ausgeklügelte Hard- und Software in Ubers Testwagen versagt, die Herzberg hätte erkennen und eine Notbremsung einleiten müssen?

Knapp ein Jahr nach dem tödlichen Unfall scheint zumindest eines klar zu sein:

Elaine Herzberg hätte nicht sterben müssen.

Die (moralische) Verantwortung für ihren Tod trägt das Unternehmen Uber1, das ein nicht ausgereiftes technisches System unter großen Risiken in den Verkehr brachte und dessen Management dabei Warnungen der eigenen Mitarbeiter ignorierte. Und sie liegt bei den politischen Akteuren, die in Arizona eine Spielart des regulativen Laissez-faire praktizierten und Sicherheitsbedenken hinter Geschäftsinteressen stellten. Doch so bitter es auch scheint: Am Uber-Fall lässt sich viel lernen. Darüber, wie man es eben nicht machen sollte, wenn man das Ziel verfolgt, dass autonome Fahrzeuge in der Breite zum Einsatz kommen und von anderen Verkehrsteilnehmern akzeptiert werden. Weil sie eben eigentlich einen Sicherheitsgewinn versprechen – jedenfalls dann, wenn man die Technik verantwortungsvoll erprobt und auf den Markt bringt.

Die spezifische Formel für den Uber-Crash lässt sich in der Rückschau auf drei wesentliche Aspekte reduzieren, die auf verhängnisvolle Weise zusammen wirkten und Elaine Herzberg das Leben kosteten: Eine mangelhafte Technik, das Wegsehen der staatlichen Stellen sowie das rücksichtslose Vorgehen des Uber-Managements.

false positives:
Ubers „Künstliche Intelligenz“ war nicht gut genug

Ein autonomes Fahrzeug muss eigenständig seine Umwelt wahrnehmen, interpretieren und auf Veränderungen relativ zur eigenen Situation reagieren. Die „Künstliche Intelligenz“ im autonomen Auto wird dazu fortwährend mit Daten aus externe wie internen Fahrzeugsensoren versorgt, muss diese Daten „fusionieren“ sowie mit gespeichertem „Wissen“ (z.B. in Form von Kartendaten) verknüpfen. In autonomen Fahrzeugen kommen dazu verschiedene Spielarten des „Maschinellen Lernens“ (machine learning, ML)2 zum Einsatz, eines Unterbereichs der „artificial intelligence“ (AI). Eine ML-Variante widmet sich der Klassifizierung von Objekten, die über die Sensoren der Maschine, etwa das LIDAR-System, in der Umwelt „entdeckt“ werden. Algorithmen, die von den Uber-Entwicklern geschrieben wurden, müssen entscheiden, um was für ein Objekt es sich handelt, welche Bewegungsbahn es nimmt, mit welcher Geschwindigkeit es sich bewegt und wie schließlich darauf reagiert werden soll. Diese „Klassifizierungsaufgabe“ ist essentiell: Eine herbeifliegende Plastiktüte sollte auf dem Highway von der Maschine tunlichst ignoriert werden und keine Notbremsung triggern. Ein Radfahrer hingegen sollte besser nicht als Plastiktüte klassifiziert werden.

Wie nahm das Uber-System Elaine Herzberg wahr? Den Kontrolleuren des National Transportation Safety Boards (NTSB) musste Uber nach dem Unfall Einblick in die Systemaufzeichnungen gewähren. Die US-amerikanische Sicherheitsbehörde konstatiert:

According to data obtained from the self-driving system, the system first registered radar and LIDAR observations of the pedestrian about 6 seconds before impact, when the vehicle was traveling at 43 mph. As the vehicle and pedestrian paths converged, the self-driving system software classified the pedestrian as an unknown object, as a vehicle, and then as a bicycle with varying expectations of future travel path. At 1.3 seconds before impact, the self-driving system determined that an emergency braking maneuver was needed to mitigate a collision.

Offensichtlich war der Klassifizierungsalgorithmus, der im Uber-Fahrzeug zum Einsatz kam, noch nicht gut genug, um zuverlässig und wiederholt Objekte in der Umwelt korrekt zu erkennen und folgerichtige Entscheidungen zu treffen: Erst glaubt die Maschine ein unbekanntes Objekt zu erkennen, dann ein Fahrzeug, dann ein Fahrrad, dessen Fahrbahn ungewiss ist und erst im letzten Moment kommt sie zu dem Schluss, dass eine Notbremsung notwendig ist. Dies ist zwar die richtige Entscheidung, es bleibt aber unklar, ob sie noch rechtzeitig gefallen wäre: Bei rund 70 km/h Geschwindigkeit beträgt der Bremsweg bei einer Gefahrbremsung 24,5 Meter (0,5*(70/10*70/10)). 1,3 Sekunden vor dem Aufprall befand sich Elaine Herzberg rund 25 Meter vor dem Fahrzeug – der tatsächliche Bremsweg ist abhängig von weiteren Faktoren wie Fahrzeugtyp, Wetter, Straßenzustand und Reaktionszeit des Fahrers/der Maschine.

Aus dem vorläufigen NTSB-Untersuchungsbericht HWY18MH010, Position von Elaine Herzberg und dem Uber-Testfahrzeug 1,3 Sekunden vor dem Aufprall.

Faktisch erfolgte aber überhaupt keine Notbremsung, obwohl die Maschine die Notwendigkeit für eine solche erkannte. Warum nicht? Der NTSB sagte Uber:

According to Uber, emergency braking maneuvers are not enabled while the vehicle is under computer control, to reduce the potential for erratic vehicle behavior. The vehicle operator is relied on to intervene and take action. The system is not designed to alert the operator.

So gesteht das Unternehmen indirekt ein, dass die AI in seinen Fahrzeugen noch nicht gut genug war, um ihr mehr Kontrolle über das Fahrzeug zu überlassen: Der Verweis auf „erratic behavior“ ist nichts anderes als das Bekenntnis, noch nicht ausgereifte Software eingesetzt zu haben.3 Uber hatte wohl selbst gemerkt: Die AI erkennt zu oft Objekte, für die sie notbremsen möchte, obwohl es dafür keinen Anlass gibt (das Beispiel der fliegenden Plastiktüte).4 Deshalb tat man es den zahlreichen LKW-Fahrern gleich, die von den „falsch positiven“ Befunden ihrer Notbremsassistenten genervt sind: Man deaktivierte die Funktion kurzerhand. Aber Uber ging noch einen Schritt weiter: Es war nicht einmal vorgesehen, dass das System in solchen Fällen den Testfahrer alarmiert — etwa durch optische oder akustische Signale. Es erkannte zwar die Gefahr, blieb aber einfach stumm. Und der Testfahrer? Laut NTSB-Untersuchung zeigte das Kamerasystem im Fahrzeug, dass dieser vor dem Crash mehrfach den Blick von der Straße abwandte und sich auf etwas im Bereich der Mittelkonsole konzentrierte. Im Nachhinein konnte nicht sicher rekonstruiert werden, ob der Fahrer sein persönliche Smartphone während der Fahrt nutzte. In Arizona reichte es, einen Führerschein vorzuweisen, um Testfahrer bei Uber zu werden.

Der Uber-Fall verdeutlicht: Die Entwicklung eines selbstfahrenden Autos, dass „sehen“ kann wie ein Mensch, seine Umgebung erkennt und aus dieser Wahrnehmungsleistung die richtigen Schlüsse zieht, ist extrem schwierig. Ebenso schwierig ist es, das Verhalten der in der Umwelt erkannten Objekte (Fußgänger, Fahrzeuge, Radfahrer etc.) korrekt einzuschätzen und ihr Verhalten vorherzusagen. Die großen Entwicklungssprünge der Vergangenheit waren „the easy part“, die große Schwierigkeit besteht nun darin, die AI so zu perfektionieren, dass sie genauso gut funktioniert wie die menschliche Wahrnehmung. Alexandre Haag, der zuvor den Autopilot für Tesla programmiert hat und nun CTO bei der Audi-Tochter „Autonomous Intelligent Driving“ ist, fasst die Herausforderung wie folgt zusammen:

“Getting to 90 percent [in perception] is fairly easy. […] Getting to 95 percent starts to get interesting. And then you still need to go way beyond that. Nine point nine nine nine nine… Adding each nine is ten times harder. When you’re at 95 percent, you’ve just scratched the surface.”

Laissez-faire:
Der Bundesstaat Arizona hatte kaum Sicherheitsbedenken

Bei genauerer Betrachtung fördert der folgenreiche Unfall eine weitere Erkenntnis zu Tage: Nicht das autonome Auto per se ist damit gescheitert, sondern eine hanebüchene, in einigen US-Bundesstaaten praktizierte Politik des regulativen Laissez-faire5. Damit gefährden die Amerikaner schon am Anfang der wünschenswerten und vielversprechenden Technikentwicklung eine ihrer zentralen Erfolgsbedingungen: die Akzeptanz bei den zukünftigen Kunden. Wenn der Eindruck entsteht, dass sich der Staat nur wenig für die Sicherheit der autonomen Fahrzeuge interessiert, werden sich nur wenige Beta-Tester finden. Doch selbst wenn sich viele Menschen verweigern, können sie sich natürlich dem Risiko nicht entziehen, wenn sie die öffentliche Straße mit den Versuchsfahrzeugen teilen müssen: Diese Verkehrsteilnehmer werden zu unfreiwilligen Teilnehmern eines lebensgroßen, potentiell lebensgefährlichen Realexperiments, zu dem sie sich nicht angemeldet haben, während sich der Gesetzgeber wenig für die Rahmenbedingungen dieses Experiments interessiert.

So bekräftigte US-Verkehrsministerin Elaine Chao im vergangenen Jahr die Leitlinien jener Politik der regulativen Zurückhaltung: Man sehe sich überhaupt nicht in der Lage, die geeignete Technologie auszuwählen. Das werde schon der Markt entscheiden. In den Richtlinien des Ministeriums wird den Entwicklern autonomer Fahrzeuge angeboten, bei Interesse doch eine freiwillige „Sicherheits-Selbsteinschätzung“ abzugeben. Von den 52 Unternehmen, die im US-Bundesstaat Kalifornien zu diesem Zeitpunkt Roboterautos testen durften, kamen rund ein halbes Jahr nach dem Uber-Crash nur drei diesem freundlich-unverbindlichen Angebot nach6.

Begünstigt durch die Abwesenheit eines einheitlichen Gesetzesrahmens konkurrieren einzelne Bundesstaaten darum, die „besten“ Bedingungen für Testfahrten mit autonomen Fahrzeugen zu offerieren. Denn die zugehörige Industrie soll einmal mehrere Billionen Dollar schwer sein — ein echter, so selten gewordener Wachstumsmarkt. Der bis zum Uber-Crash größte unbeaufsichtigte Spielplatz für autonome Fahrzeuge war der US-Bundesstaat Arizona. Dort rief der republikanische Gouverner Doug Ducey bereits 2015 in Richtung der Hersteller, man sei ab sofort „open for business“. Gemeint war: Wenn ihr euch an die Verkehrsregeln haltet, dürft ihr machen, was ihr wollt – no questions asked.

In Arizona reichte es aus, für Testfahrten mit autonomen Fahrzeugen ein registriertes, versichertes Fahrzeug sowie einen Testfahrer mit gültigem Führerschein vorzuweisen. Ein eigens eingerichtetes Aufsichtsgremium in Arizona traf sich vor dem Crash nur zweimal, um die Testfahrten autonomer Fahrzeuge zu diskutieren. Beide Male sah man keinen Anlass, den Herstellern Vorschriften zu machen. Uber musste die staatlichen Stellen nicht darüber informieren, wie es lief mit der eigenen Technik. Heute ist bekannt: Es lief nicht so gut.

In Kalifornien sind die Regeln strenger: Dort müssen die Hersteller unter anderem berichten, wie häufig ein Testfahrer eingreifen musste, um einer potentiellen Gefahrensituation auszuweichen. Die Fahrzeuge der Google-Tochter Waymo etwa fuhren im Schnitt 5600 Meilen autonom, bevor ein Mensch ins Lenkrad griff. Aus internen Uber-Dokumenten berichtete die New York Times, dass der Hersteller in Arizona massive Schwierigkeiten hatte, das selbst gesteckte Ziel von 13 (!) Meilen pro menschlichem Eingriff zu erreichen.

Eine behördliche Aufsicht, die sich für mehr interessiert als das Einhalten von Verkehrsregeln, hätte Auflagen machen müssen, bis Uber beweist, dass die Technik so sicher und ausgereift ist, dass sie auf öffentlichen Straßen getestet werden darf. Sie hätte danach fragen können, wie Uber seine Testfahrer auswählt und wie Uber sicherstellt, dass die Testfahrer ihrer Aufgabe nachkommen. Bis heute gibt es keinen standardisierten Test, den Fahrzeughersteller abschließen müssen, bevor sie ihre hochautomatisierten Fahrzeuge in Arizona auf die Straße bringen dürfen.

Unmittelbar nach dem Crash untersagte Arizonas Gouverneur Ducey Uber alle Testfahrten. Eine administrative Weisung von Anfang März 2018, wonach zukünftig auch Testfahrten ohne Backup-Fahrer möglich sein sollen, ließ Ducey unangetastet. Wenige Tage zuvor hatte Kalifornien diesen Schritt bekanntgegeben.

corporate disfunction:
Wie Uber die Warnrufe der eigenen Mitarbeiter ignorierte

In der AV-Fachwelt gibt es einen Konsens: Wenn es um Sicherheit geht, gab es in der Vergangenheit zwei Unternehmen, die lieber auf Marketing-Bravado als eine konservative Beschreibung der Leistungsgrenzen der eigenen AI gesetzt haben – Tesla und Uber. Fälle von Tesla-Kunden, deren „Autopilot“ ganz eigene, risikoreiche Wege geht, sind hinlänglich dokumentiert, ebenso wie die falsch-grandiosen Voraussagen eines Elons Musk, wann wir mit selbstfahrenden Autos auf unseren Straßen rechnen müssen (spätestens 2017). Und dass Volvo sich 2016 mit Uber einließ, kommentierte man bei Waymo lakonisch:

„We were surprised they wanted to partner with Uber given the importance they place on safety, and developing this technology safely.“

Vor dem tödlichen Unfall, der Elaine Herzberg das Leben kostete, war Anthony Levandowski einer der Chefs der Self-Driving-Car-Abteilung bei Uber. Er hatte 2016 die Google-Tochter Waymo im Streit verlassen und traf seinen Arbeitgeber erst vor Gericht wieder, weil ihm Diebstahl von Firmengeheimnissen vorgeworfen wurde. Aus dem Gerichtsverfahren wurden interessanten Details publik, die auch Levandowskis Sicherheitsphilosophie aus einer Mail an Google-Chef Larry Page aus dem Januar 2016 beschreiben:

„We don’t need redundant brakes & steering, or a fancy new car, we need better software […] To get to that better software faster we should deploy the first 1000 cars asap. I don’t understand why we are not doing that. Part of our team seems to be afraid to ship.“

Das Magazin „The Verge“ bezeichnet Levandowski als Anhänger einer Development-Philosophie, deren Credo “move fast and break things” lautet.

Im Dezember 2018 berichtete das Portal „The Information“ von Uber-Whistleblower und Betriebsleiter Robbie Miller, der nur fünf Tage vor dem tödlichen Unfall seine Vorgesetzten warnte, dass

„the software powering the company’s prototype robotaxis was dangerous. […] that the human back-up drivers in the vehicles weren’t properly trained to do their jobs or were not terminated even if they repeatedly screwed up […]“.

Die Ereignisse, die Miller in seinem Brief beschreibt, sind umso verheerender als man sich in Erinnerung rufen muss, dass es keine Form der behördlichen Kontrolle oder Überwachung gab. Es lohnt sich deshalb, sie hier in Langform zu dokumentieren:

„The car-ops team experienced a dangerous behavior on Nov 18, 2017 (AIM-22734) that would have resulted in a collision had the vehicle in the adjacent lane not swerved to miss the Krypton [Uber prototype vehicle]. The [Uber backup] driver notified their dispatcher. A ticket was made and ignored. 4 days later I reviewed the log and flagged it for investigation in Jira [a tool Uber used to create reports on road incidents]. It was ignored for several more days. I told several people on car-ops of the incident and they told me incidents like that happen all of the time. It was nearly 2 weeks before anyone qualified to analyze the logs reviewed them. Everyone on car-ops followed car-ops policy. This is not how we should be operating.“

Und weiter:

„[L]ast Friday a Xenon [another Uber prototype vehicle] drove on the sidewalk for several meters (AIM-254416). This could have easily been much more serious and the incident was essentially ignored until I informed Scott Ryvola [a software quality (triage) manager at Uber self-driving trucks] who escalated it to Nick Letwin [who oversaw software quality teams of both trucks and cars]. At Waymo I would not have been surprised if the entire fleet was immediately grounded for weeks or longer if a vehicle exhibited the same behavior.“

Millers E-Mail ging an sieben Uber-Top-Manager. Er beschwerte sich ferner darüber, dass zahlreiche Testfahrer kein richtiges Training und keine vernünftige Einweisung erhalten hätten und schlug vor, besser zwei Backup-Fahrer einzusetzen. Ob die Mail Millers beachtet oder ignoriert wurde, blieb unklar. Klar dagegen scheint: Innerhalb der Abteilung herrschte extremer Druck, möglichst viele Fahrzeuge auf die Straße zu bringen und viele Kilometer fahren zu lassen. Uber hatte sich immer wieder damit gerühmt, Millionen von Testmeilen gefahren zu sein – ohne zu erwähnen, dass zu Spitzenzeiten alle ein bis drei Meilen ein Testfahrer ins Lenkrad greifen musste. Der Business Insider berichtete zudem von einem angekündigten Besuch des neuen Uber-CEO Dara Khosrowshahi, dem eine besonders „smoothe“ Demo – also eine Testfahrt ohne häufige Eingriffe des Backup-Fahrers – präsentiert werden sollte. Zu diesem Zweck habe man die Software „getuned“ – ein Aspekt: die Deaktivierung der Notbremsfunktion.

Am Ende wird eine „vast dysfunctionality“ konstatiert: Uber-Manager, die sich wenig für etwaige Sicherheitsbedenken interessierten, sondern maßgeblich dafür, mit der Konkurrenz mitzuhalten und der Öffentlichkeit schöne Zahlen kommunizieren zu können. Heute ist klar, dass dieses Missmanagement entscheidenden Anteil am Tod von Elaine Herzberg hatte:

Die Uber-Manager brachten ohne Rücksicht auf etwaige Verluste ein unausgereiftes „Produkt“ auf die Straße, während der Bundesstaat Arizona zuvor alles dafür getan hatte, dass Uber bei diesem Realexperiment niemand so genau auf die Finger schaute.

Elaine Herzberg hätte nicht sterben müssen.


 

  1. Uber hatte sich nach dem Unfall mit den Hinterbliebenen Herzbergs in einem außergerichtlichen Vergleich schnell auf eine Entschädigungszahlung verständigt.
  2. „Machine learning is the science (and art) of programming computers so they can learn from data“ writes Aurélien Géron in Hands-on Machine Learning with Scikit-Learn and TensorFlow, vgl. Machine learning: A quick and simple definition
  3. Nach internen Uber-Unterlagen, die nach dem Unfall geleakt wurden, mussten die Uber-Testfahrer im Schnitt alle 13 Meilen eingreifen, weil die AI an ihre Grenzen kam. Zum Vergleich: Waymos Fahrzeuge fuhren im Schnitt 5600 Meilen, bevor ein Mensch aufgrund einer Systemüberforderung wieder ans Steuer fassen musste
  4. Ein Auto, dass ständig unnötig bremst, wollte man dem CEO bei seinem nächsten angekündigten Besuch jedoch nicht präsentieren.
  5. Es gibt in den USA noch keinen einheitlichen Gesetzesrahmen für den öffentlichen Betrieb hochautomatisierter Fahrzeuge. Dieser wird seit einiger Zeit vom Kongress erarbeitet, enthält aber noch zahlreiche strittige Punkte, die Demokraten und Republikaner ausräumen müssen
  6. Mittlerweile ist die Liste auf 10 Einträge angewachsen.