Angebliche Unfallreduktion mit Tesla Autosteer war grober Rechenfehler

Tesla-Ladestation bei Nacht
(Bild: Daniel AJ Sokolov)
40 Prozent weniger Airbag-Auslösungen hatten Teslas mit Spurassistent â angeblich. TatsĂ€chlich dĂŒrften solche Teslas deutlich hĂ€ufiger UnfĂ€lle haben.
"Die Daten zeigen, dass die Unfallrate von Tesla-Fahrzeugen nach der Installation von Autosteer um fast 40 Prozent gefallen ist", zitierte Tesla-Chef Elon Musk Anfang 2017 aus einem Untersuchungsbericht der US-StraĂenverkehrssicherheitsbehörde National Highway Traffic Safety Administration (NHTSA). Leider sind der Behörde bizarre Fehler bei der Datenauswertung unterlaufen. Statistiker Randy Whitfield zeigt nun, dass die Airbag-Auslösungen nicht um fast 40 Prozent abgenommen sondern um 59 Prozent zugenommen haben dĂŒrften.
Autosteer ist ein Spurhalte- und Spurwechselassistent, der in vielen Tesla-Fahrzeugen als Teil des "Autopiloten" installiert werden kann. Im Juni 2016 hatte ein Tesla S im Autopilot-Modus einen Sattelzug gerammt [1]. Weder Autopilot noch automatisches Bremssystem noch der im Auto Sitzende betĂ€tigten die Bremse. Der Mann ĂŒberlebte den Unfall nicht. Daraufhin untersuchte die NHTSA diesen und andere UnfĂ€lle mit Tesla S und X [2].
ZusÀtzlich versuchte sich die Behörde an einer statistischen Analyse von Tesla S und X, bei denen Autosteer installiert wurde: Wie oft wurde bei diesen Autos vor Installation von Autosteer der Airbag ausgelöst, und wie oft danach? Die NHTSA behauptete dann, dass vor Autosteer auf eine Million gefahrene Meilen 1,3 Airbag-Auslösungen kÀmen, nach Installation von Autosteer nur noch 0,8 Airbag-FÀlle (Untersuchungsbericht NHTSA ODI PE 16-007).
Tesla-Chef Elon Musk warb auf Twitter mit dem leider falschen Ergebnis.
Dabei war unbekannt, ob und wann Autosteer ĂŒberhaupt verwendet wurde. Dennoch ging die NHTSA mit ihrem Rechenergebnis an die Ăffentlichkeit, und Tesla freute sich. Allerdings dĂŒrfte die Berechnung völlig danebengegangen sein. Die Fahrleistungen zehntausender Autos vor Autosteer-Installation wurden mit null Meilen, aber mehreren Airbag-Auslösungen angenommen. Und bei einzelnen Autos landeten negative Meilen mit Autosteer in der Statistik.
Behörde wollte Daten geheim halten
Das zeigt der aktuelle Bericht von Whitfields Firma Quality Control Systems Corporation [3] (QCS). QCS hat nicht nur die Neuauswertung der Daten selbst finanziert, sondern auch ein Gerichtsverfahren: QCS wollte wissen, auf welchen Daten und Berechnungen die angebliche Sicherheitsverbesserung beruht. Doch die NHTSA weigerte sich, die Informationen herauszugeben. Diese Transparenz wĂŒrde Tesla im Wettbewerb erheblich benachteiligen und interne Ăberlegungen der Behörde offenlegen â beides AusnahmegrĂŒnde nach dem US-Informationsfreiheitsgesetz. QCS klagte.
Erst nach fast eineinhalb Jahren Gerichtsverfahren gab die NHTSA die Daten heraus. Dabei wurde offenbar, dass die von Tesla ĂŒbermittelten Daten fĂŒr die meisten Autos unvollstĂ€ndig waren. Nur bei 5.714 von 43.781 Fahrzeugen war ersichtlich, wann Autosteer installiert wurde und wieviel davor und danach gefahren wurde. In dieser Gruppe zeigt sich der Anstieg der Airbag-Auslösungen um 59 Prozent: Waren vor der Installation von Autosteer auf jede gefahrene Million Meilen 0,76 Airbag-Auslösungen gekommen, waren es danach 1,21 Airbag-FĂ€lle.
So hatte die NHTSA aber nicht gerechnet. Sie hatte auch die unvollstĂ€ndigen DatensĂ€tze mit einbezogen, und dabei unhaltbare Annahmen getroffen. Bei rund 9.000 weiteren Fahrzeuge gab es zwar historische KilometerstĂ€nde, der Stand bei Installation von Autosteer fehlte aber. Obwohl dieser Graubereich sehr groĂ ist, hat ihn die NHTSA ignoriert, was das Ergebnis zugunsten von Autosteer verfĂ€lscht haben dĂŒrfte.
Ohne Autosteer UnfÀlle bei Stillstand?
Rund 15.000 Fahrzeuge, fĂŒr die Tesla weder einen Kilometerstand vor noch einen Kilometerstand nach Installation von Autosteer angegeben hatte, flossen als "mit Autosteer ausgeliefert" in die Statistik. Das kann jedoch nicht stimmen, da bei dreien dieser Fahrzeuge ein Airbag-Fall noch vor Installation von Autosteer (und damit angeblich vor Auslieferung) registriert wurde.
Besonders abstrus wird es bei gut 14.000 Fahrzeugen, bei denen weder historische KilometerstĂ€nde noch der Stand bei Installation von Autosteer bekannt waren, wohl aber irgendein spĂ€terer Kilometerstand sowie der jĂŒngste Stand. Hier hatte die NHTSA einfach angenommen, dass die Fahrzeuge vor Installation von Autosteer null Meilen gefahren sind â bei 15 Airbag-Auslösungen.
In Summe sind also rund 29.000 von insgesamt knapp 44.000 Tesla S und X mit null Meilen, aber 18 Airbag-FÀllen vor Installation von Autosteer in der NHTSA-Statistik gelandet. Zu diesem haarstrÀubenden Unsinn kommt noch hinzu, dass die Behörde bei elf Teslas mit negativer Fahrleistungen nach Installation von Autosteer gerechnet hat. Heise online hat die NHTSA sowie Tesla [4] um Stellungnahme gebeten. (Zur Reaktion Teslas siehe das Update weiter unten.)
Viele Unfall-Teslas sind reparierbar
WĂ€hrend Whitfields ĂberprĂŒfung die RechenkĂŒnste der NHTSA katastrophal erscheinen lĂ€sst, enthĂ€lt der Bericht auch eine positive Information ĂŒber Tesla: Vor Installation von Autosteer hatte es insgesamt 86 Airbag-FĂ€lle gegeben. In 83 FĂ€llen konnte das Auto repariert und wieder in Dienst gestellt werden.
Gleichzeitig erscheint das Vorhandensein von Autosteer die Unfallgefahr deutlich zu erhöhen. Ob das an der Technik, an deren unbedachtem Einsatz oder anderen Faktoren liegt, geht aus den Daten nicht hervor.
Datensalat
QCS stellt aber auch die Aussagekraft der vollstĂ€ndigen DatensĂ€tze in Frage. Erstens gehen alle Berechnungen auf die von Tesla ĂŒbermittelten Daten zurĂŒck, eine unabhĂ€ngige ĂberprĂŒfung gibt es nicht. Zweitens verraten die Daten nicht, bei welchem Kilometerstand der Airbag ausgelöst hat. Nach Unfall und Reparatur gefahrene Kilometer verzerren daher das Ergebnis. Drittens ist nicht bekannt, ob Autosteer beim Unfall ĂŒberhaupt aktiv war.
Leider fehlen Daten jener Tesla S und X, bei denen Autosteer nicht installiert wurde. Dabei wĂ€re das die "natĂŒrliche" Kontrollgruppe, mit der die Entwicklung der Unfallzahlen mit Autosteer zu vergleichen wĂ€re. Denn es ist denkbar, dass die Tesla-Unfallraten generall gestiegen sind, mit oder ohne Autosteer.
Zudem könnten Daten ĂŒber Unfallautos fehlen, weil deren Airbag-Auslösung nicht in Teslas Datenbanken verzeichnet ist. Das könnte der Fall sein, wenn das Fahrzeug abseits von Mobilfunk-Abdeckung verunfallt ist oder das Modem beschĂ€digt und der Wagen nicht repariert wurde.
Die Daten erwecken ĂŒbrigens den Eindruck, die Rate von Airbag-Auslösungen sinke, je mehr gefahren wird. Dieser Eindruck könnte aber dadurch entstehen, dass Unfallwagen einige Zeit in der Werkstatt stehen und somit geringere Fahrleistungen aufweisen. Oder daran, dass einige Fahrzeuge nach Installation von Autosteer und einem der 192 verzeichneten UnfĂ€lle nicht mehr zurĂŒck auf die StraĂe gekommen sind. FĂŒr eine stichhaltige Analyse hĂ€tte die Behörde mehr Daten anfordern und diese sinnerhaltend auswerten mĂŒssen.
[Update 22:52 Uhr]
Stellungnahme Teslas
"Der Autopilot reduziert die Beanspruchung der Fahrer und bietet zusĂ€tzliche Sicherheit, die zwei Augen alleine nicht böten", hat Tesla am Sonntag Stellung gegenĂŒber heise online genommen. Die Erkenntnisse des QSC-Berichts zu Autosteer kommentiert das Unternehmen dabei nicht.
Tesla verweist vielmehr auf die Angaben [5], die es seit dem Herbst vierteljĂ€hrlich veröffentlicht. Demnach sei im vierten Quartal des Vorjahres bei Tesla-Fahrten mit aktiviertem "Autopiloten" statistisch alle 2,91 Millionen Meilen ein Unfall registriert worden, verglichen mit 1,58 Millionen Meilen ohne Autopiloten. Unter dieser Bezeichnung fasst Tesla eine Reihe von Fahrerassistenzsystemen zusammen, darunter Autosteer. FĂŒr die gesamte Automobil-Flotte der USA weise eine NHTSA-Statistik einen Unfall pro 436.000 Meilen aus. [/Update]
- Der in Zweifel gezogene
Untersuchungsbericht der NHTSA ODI PE 16-007
[6]
von Anfang 2017
(ds [7])
URL dieses Artikels:
https://www.heise.de/-4303139
Links in diesem Artikel:
[1] https://www.heise.de/news/Toedlicher-Unfall-mit-Teslas-Autopilot-3252120.html
[2] https://www.heise.de/news/US-Behoerde-zu-toedlichem-Tesla-Autopilot-Unfall-Anleitung-lesen-3603379.html
[3] http://www.safetyresearch.net/Library/NHTSA_Autosteer_Safety_Claim.pdf
[4] https://www.heise.de/thema/Tesla-Motors
[5] https://www.tesla.com/de_DE/VehicleSafetyReport?redirect=no
[6] https://www.heise.de/downloads/18/2/5/9/7/6/7/3/INCLA-PE16007-7876.PDF
[7] mailto:ds@heise.de
Copyright © 2019 Heise Medien