Manipulationen an Smartphone-Benchmarks haben kaum Auswirkungen
Benchmark-Tests im c't-Labor zeigen, dass die Hersteller-Schummeleien an Android-Geräten keinen großen Einfluss haben. Lediglich Toshiba und Asus ermogeln sich fast 30 Prozent bessere Ergebnisse.
- Hannes A. Czerulla
Die Manipulationen, die Hersteller an ihren Smartphones und Tablets vornehmen, um in Benchmarks besser abzuschneiden, haben offenbar keine bedeutenden Auswirkungen auf die Ergebnisse. Seit ein paar Wochen ist bekannt, dass die Hersteller gezielt Prozessoren und Grafikchips ihrer Mobilgeräte übertakten, wenn bestimmte Test-Apps laufen. Zu den Schummlern gehören unter anderem Samsung, HTC und Asus, die mit den Manipulationen die Ergebnisse von Benchmarks wie den Grafiktests 3DMark und GFXBench oder dem allgemeinen Hardware-Benchmark AnTuTu beeinflussen wollen.
Die Entwickler der Benchmark-Apps haben darauf reagiert und Versionen ihrer Programme entwickelt, die bislang immun gegen solche Hersteller-Tricks sein sollen. Vermutlich orientieren sich die Smartphones an den Package-Namen der Apps; in den neuen App-Versionen sind diese nun verändert. Einige wie beispielsweise AnTuTu X Editor findet man wie gewohnt in Google Play, die Entwickler von 3DMark und GFXBench verschicken ihre Spezial-Versionen nur auf Anfrage.
Benchmarks auf der Testbank
Im c't-Labor haben wir beide Versionen dieser Benchmark-Apps auf 13 Smartphones und Tablets verschiedener Hersteller laufen lassen. Im Test dabei sind populäre Modelle wie Samsung Galaxy Note 3 und HTC One und die Nexus-Geräte von Google, aber auch eher wenig verbreitete Tablets wie das Toshiba Excite Write. Bunt gemischt ist auch die Hardware-Ausstattung der getesteten Geräte: Von Samsungs "Octa-Core-Prozessor" Exynos 5 bis zu dem oft verbauten Qualcomm Snapdragon 600 war alles im Testfeld dabei.
Der Vergleich der Ergebnisse lässt Zweifel daran aufkommen, dass hier wirklich beeinflusst wird. Bei allen Benchmarks konnten wir maximal 6 Prozent Differenz zwischen den angeblich manipulierten Ergebnissen und denen der neuen Benchmark-Versionen feststellen. Diese Werte ergaben sich aus einem Durchschnittswert aus mehreren Durchläufen. Dabei schwanken die Ergebnisse selbst dann, wenn man die selbe Benchmark-Version mehrmals laufen lässt.
Kaum Abweichungen
Selbst beim Samsung Galaxy Note 3, das in den letzten Wochen oft im Zusammenhang mit den Manipulationen genannt wurde, zeigte AnTuTu höchstens eine Abweichung von 5,6 Prozent. Bei einigen Geräten wie beispielsweise dem 8-Zoll-Tablet LG G Pad fielen die Ergebnisse der manipulierbaren Benchmarks sogar schlechter aus die der neuen Versionen. Auch hier sind Messungenauigkeiten wahrscheinlich der Grund.
Ausnahmen bilden die beiden 10-Zoll-Tablets Toshiba Excite Write und Asus Transformer Pad. Hier scheinen die Hersteller keine Hemmungen zu haben, kräftig nachzuhelfen: Das Transformer Pad legt in AnTuTu auf magische Weise 22 Prozent zu, in GFXBench springt das Ergebnisse von 16 auf 19 Frames pro Sekunde. Das Toshiba Excite Write berechnet auf einmal 16 anstatt 14 Frames in GFXBench, in 3DMark steigen die Werte um rund 28 Prozent.
Allerdings bedeuten die gleichbleibenden Werte der anderen Geräte nicht zwangsweise, dass die Hersteller es aufgegeben haben zu schummeln – das ist nur eine mögliche Erklärung. Die andere ist, dass sie sich bereits auf die neuen Versionen der Benchmarks eingeschossen haben und dort nun genauso die Hardware beeinflussen. Asus und Toshiba wären in diesem Fall einfach zu langsam gewesen. Futuremark – die Entwickler von 3DMark – haben zumindest ihre Konsequenzen aus der Affäre gezogen und führen nun Geräte, von denen bekannt ist, dass sie Ergebnisse manipulieren, nicht mehr in ihrer Besten-Liste.
(hcz)
