Angebliche Unfallreduktion mit Tesla Autosteer war grober Rechenfehler

Inhaltsverzeichnis

"Die Daten zeigen, dass die Unfallrate von Tesla-Fahrzeugen nach der Installation von Autosteer um fast 40 Prozent gefallen ist", zitierte Tesla-Chef Elon Musk Anfang 2017 aus einem Untersuchungsbericht der US-Straßenverkehrssicherheitsbehörde National Highway Traffic Safety Administration (NHTSA). Leider sind der Behörde bizarre Fehler bei der Datenauswertung unterlaufen. Statistiker Randy Whitfield zeigt nun, dass die Airbag-Auslösungen nicht um fast 40 Prozent abgenommen sondern um 59 Prozent zugenommen haben dürften.

Autosteer ist ein Spurhalte- und Spurwechselassistent, der in vielen Tesla-Fahrzeugen als Teil des "Autopiloten" installiert werden kann. Im Juni 2016 hatte ein Tesla S im Autopilot-Modus einen Sattelzug gerammt. Weder Autopilot noch automatisches Bremssystem noch der im Auto Sitzende betätigten die Bremse. Der Mann überlebte den Unfall nicht. Daraufhin untersuchte die NHTSA diesen und andere Unfälle mit Tesla S und X.

Zusätzlich versuchte sich die Behörde an einer statistischen Analyse von Tesla S und X, bei denen Autosteer installiert wurde: Wie oft wurde bei diesen Autos vor Installation von Autosteer der Airbag ausgelöst, und wie oft danach? Die NHTSA behauptete dann, dass vor Autosteer auf eine Million gefahrene Meilen 1,3 Airbag-Auslösungen kämen, nach Installation von Autosteer nur noch 0,8 Airbag-Fälle (Untersuchungsbericht NHTSA ODI PE 16-007).

Tesla-Chef Elon Musk warb auf Twitter mit dem leider falschen Ergebnis.

Dabei war unbekannt, ob und wann Autosteer überhaupt verwendet wurde. Dennoch ging die NHTSA mit ihrem Rechenergebnis an die Öffentlichkeit, und Tesla freute sich. Allerdings dürfte die Berechnung völlig danebengegangen sein. Die Fahrleistungen zehntausender Autos vor Autosteer-Installation wurden mit null Meilen, aber mehreren Airbag-Auslösungen angenommen. Und bei einzelnen Autos landeten negative Meilen mit Autosteer in der Statistik.

Behörde wollte Daten geheim halten

Das zeigt der aktuelle Bericht von Whitfields Firma Quality Control Systems Corporation (QCS). QCS hat nicht nur die Neuauswertung der Daten selbst finanziert, sondern auch ein Gerichtsverfahren: QCS wollte wissen, auf welchen Daten und Berechnungen die angebliche Sicherheitsverbesserung beruht. Doch die NHTSA weigerte sich, die Informationen herauszugeben. Diese Transparenz würde Tesla im Wettbewerb erheblich benachteiligen und interne Überlegungen der Behörde offenlegen – beides Ausnahmegründe nach dem US-Informationsfreiheitsgesetz. QCS klagte.

Erst nach fast eineinhalb Jahren Gerichtsverfahren gab die NHTSA die Daten heraus. Dabei wurde offenbar, dass die von Tesla übermittelten Daten für die meisten Autos unvollständig waren. Nur bei 5.714 von 43.781 Fahrzeugen war ersichtlich, wann Autosteer installiert wurde und wieviel davor und danach gefahren wurde. In dieser Gruppe zeigt sich der Anstieg der Airbag-Auslösungen um 59 Prozent: Waren vor der Installation von Autosteer auf jede gefahrene Million Meilen 0,76 Airbag-Auslösungen gekommen, waren es danach 1,21 Airbag-Fälle.

So hatte die NHTSA aber nicht gerechnet. Sie hatte auch die unvollständigen Datensätze mit einbezogen, und dabei unhaltbare Annahmen getroffen. Bei rund 9.000 weiteren Fahrzeuge gab es zwar historische Kilometerstände, der Stand bei Installation von Autosteer fehlte aber. Obwohl dieser Graubereich sehr groß ist, hat ihn die NHTSA ignoriert, was das Ergebnis zugunsten von Autosteer verfälscht haben dürfte.

Ohne Autosteer Unfälle bei Stillstand?

Rund 15.000 Fahrzeuge, für die Tesla weder einen Kilometerstand vor noch einen Kilometerstand nach Installation von Autosteer angegeben hatte, flossen als "mit Autosteer ausgeliefert" in die Statistik. Das kann jedoch nicht stimmen, da bei dreien dieser Fahrzeuge ein Airbag-Fall noch vor Installation von Autosteer (und damit angeblich vor Auslieferung) registriert wurde.

Besonders abstrus wird es bei gut 14.000 Fahrzeugen, bei denen weder historische Kilometerstände noch der Stand bei Installation von Autosteer bekannt waren, wohl aber irgendein späterer Kilometerstand sowie der jüngste Stand. Hier hatte die NHTSA einfach angenommen, dass die Fahrzeuge vor Installation von Autosteer null Meilen gefahren sind – bei 15 Airbag-Auslösungen.

In Summe sind also rund 29.000 von insgesamt knapp 44.000 Tesla S und X mit null Meilen, aber 18 Airbag-Fällen vor Installation von Autosteer in der NHTSA-Statistik gelandet. Zu diesem haarsträubenden Unsinn kommt noch hinzu, dass die Behörde bei elf Teslas mit negativer Fahrleistungen nach Installation von Autosteer gerechnet hat. Heise online hat die NHTSA sowie Tesla um Stellungnahme gebeten. (Zur Reaktion Teslas siehe das Update weiter unten.)

Viele Unfall-Teslas sind reparierbar

Während Whitfields Überprüfung die Rechenkünste der NHTSA katastrophal erscheinen lässt, enthält der Bericht auch eine positive Information über Tesla: Vor Installation von Autosteer hatte es insgesamt 86 Airbag-Fälle gegeben. In 83 Fällen konnte das Auto repariert und wieder in Dienst gestellt werden.

Gleichzeitig erscheint das Vorhandensein von Autosteer die Unfallgefahr deutlich zu erhöhen. Ob das an der Technik, an deren unbedachtem Einsatz oder anderen Faktoren liegt, geht aus den Daten nicht hervor.

Datensalat

QCS stellt aber auch die Aussagekraft der vollständigen Datensätze in Frage. Erstens gehen alle Berechnungen auf die von Tesla übermittelten Daten zurück, eine unabhängige Überprüfung gibt es nicht. Zweitens verraten die Daten nicht, bei welchem Kilometerstand der Airbag ausgelöst hat. Nach Unfall und Reparatur gefahrene Kilometer verzerren daher das Ergebnis. Drittens ist nicht bekannt, ob Autosteer beim Unfall überhaupt aktiv war.

Leider fehlen Daten jener Tesla S und X, bei denen Autosteer nicht installiert wurde. Dabei wäre das die "natürliche" Kontrollgruppe, mit der die Entwicklung der Unfallzahlen mit Autosteer zu vergleichen wäre. Denn es ist denkbar, dass die Tesla-Unfallraten generall gestiegen sind, mit oder ohne Autosteer.

Zudem könnten Daten über Unfallautos fehlen, weil deren Airbag-Auslösung nicht in Teslas Datenbanken verzeichnet ist. Das könnte der Fall sein, wenn das Fahrzeug abseits von Mobilfunk-Abdeckung verunfallt ist oder das Modem beschädigt und der Wagen nicht repariert wurde.

Die Daten erwecken übrigens den Eindruck, die Rate von Airbag-Auslösungen sinke, je mehr gefahren wird. Dieser Eindruck könnte aber dadurch entstehen, dass Unfallwagen einige Zeit in der Werkstatt stehen und somit geringere Fahrleistungen aufweisen. Oder daran, dass einige Fahrzeuge nach Installation von Autosteer und einem der 192 verzeichneten Unfälle nicht mehr zurück auf die Straße gekommen sind. Für eine stichhaltige Analyse hätte die Behörde mehr Daten anfordern und diese sinnerhaltend auswerten müssen.

[Update 22:52 Uhr]

Stellungnahme Teslas

"Der Autopilot reduziert die Beanspruchung der Fahrer und bietet zusätzliche Sicherheit, die zwei Augen alleine nicht böten", hat Tesla am Sonntag Stellung gegenüber heise online genommen. Die Erkenntnisse des QSC-Berichts zu Autosteer kommentiert das Unternehmen dabei nicht.

Tesla verweist vielmehr auf die Angaben, die es seit dem Herbst vierteljährlich veröffentlicht. Demnach sei im vierten Quartal des Vorjahres bei Tesla-Fahrten mit aktiviertem "Autopiloten" statistisch alle 2,91 Millionen Meilen ein Unfall registriert worden, verglichen mit 1,58 Millionen Meilen ohne Autopiloten. Unter dieser Bezeichnung fasst Tesla eine Reihe von Fahrerassistenzsystemen zusammen, darunter Autosteer. Für die gesamte Automobil-Flotte der USA weise eine NHTSA-Statistik einen Unfall pro 436.000 Meilen aus. [/Update]

• Der in Zweifel gezogene Untersuchungsbericht der NHTSA ODI PE 16-007 von Anfang 2017
  

(ds)