c't-Labs: Von Benchmark-Schummlern und heißen Smartphones

Inhaltsverzeichnis

Achim Barczok

War zwei Jahre alt, als die erste c't am Kiosk lag. 25 Jahre später wurde er c't-Volontär und danach Redakteur für mobile Hardware. Weil Smartphones inzwischen fast alles können, ist er für seine Tests eigentlich in allen c't-Laboren von Foto bis Display anzutreffen.

Mein 10-jähriger Bruder Florian findet den Job eines c't-Redakteurs total cool. Ich habe ihm nämlich letztens erzählt: "Klar, wenn ich ein Smartphone teste, dann schaue ich auch immer, wie flüssig Rennspiele darauf laufen." Im Büro sitzen und auf dem Smartphone zocken, ja das könnte sich Florian – glaube ich – als Karriere ganz gut vorstellen.

Vergangene Woche hätte ich am liebsten mit ihm getauscht, als ich mitten im Test des Samsung Galaxy Note 3 und des LG G2 steckte. Der Abgabetermin drückte, der Text noch nicht ganz fertig, und dann war ich auf einmal gezwungen, den halben Tag GTA, Reckless Racing und Asphalt auf meinen Testgeräten zu spielen.

Erschummelte Benchmark-Werte

Grund hierfür war eine Meldung, die Anfang Oktober in der IT-Welt die Runde machte und auch auf heise online fleißig diskutiert wurde: LG, Samsung und die meisten anderen Smartphone-Hersteller schummeln bei Benchmarks. Der Vorwurf: Merkt das Smartphone, dass eine bestimmte App läuft, so verhindert es, dass Prozessoren und Grafikchips allzu bald drosseln. Dazu schreiben die Hersteller Listen bekannter Benchmark-Apps und hinterlegen sie auf ihren Smartphones. Startet eine dieser Apps, wird das Schummelverhalten aktiviert. Den bis dato ausführlichsten Artikel dazu konnte man bei Anand auf Anandtech.com lesen, der akribisch zusammengetragen hatte, auf welchen Geräten welche Benchmarks betroffen sind.

Dass ein Smartphone seine Prozessorkerne nicht ständig ausreizt, gehört zum normalen Verhalten. Sämtliche Mobilcomputer von Smartphone bis Notebook optimieren kontinuierlich das Gleichgewicht zwischen Performance, Akkuverbrauch und Erhitzung – sonst wäre der Akku ruckzuck leer. Der Betriebszustand wechselt je nach den laufenden Prozessen. Wenn die SMS-App offen ist, wird die Leistung runtergefahren, um den Akku zu schonen; wenn ein Spiel läuft, dreht der Prozessor auf, das Gerät nimmt mehr Wärme und kürzere Laufzeit in Kauf.

Benchmarks versuchen, ein Smartphone maximal auszureizen um zu ermitteln, zu welchen Leistungen es fähig ist. Ist es also wirklich verwerflich, wenn die Hersteller da nachhelfen und die Drossel künstlich abstellen? Ja, ist es! Denn auch wenn Benchmarks die maximalen Werte herauskitzeln sollen, müssen es trotzdem praxisnahe sein, also keine theoretischen.

Oder anders gesagt: Wenn der Prozessor zwar im Prinzip dazu fähig ist, mit 2,2 GHz auf vier Kernen 3 Minuten lang die schönsten Spielszenen zu rendern, es jedoch in der Praxis nie tut, dann hilft der ermittelte Wert dem Nutzer herzlich wenig zur Bewertung und Einordnung seines Smartphones.

Heißt das also: Benchmarks in die Tonne? Ja und nein. Nein, denn wir benutzen für unsere Tests auch Benchmarks, die die Hersteller nicht überlisten können. Die von uns selbst kompilierte Version des CoreMark des Embedded Microprocessor Benchmark Consortiums beispielsweise ist nicht im Play Store verfügbar und damit den Herstellern unbekannt. Browser-Benchmarks wie der Sunspider sind ebenfalls nicht betroffen. Und ja: Benchmarks aus dem Google Play Store werden wir in Zukunft nur noch mit größter Vorsicht verwenden können oder auch hier mit selbst kompilierten Versionen arbeiten müssen.

LG G2 vs. Samsung Galaxy Note 3

Wir haben lange in der Redaktion diskutiert, wie wir im aktuellen Smartphone-Test in der c't 23/13 mit Benchmark-Werten umgehen wollen. Am Ende haben wir uns entschieden, auch die Werte von Benchmark-Apps aus dem Play Store zu veröffentlichen, im Text aber auf das Dilemma mit den Schummeleien hinzuweisen.

Die Werte sind nämlich trotzdem spannend: Bei fast allen Benchmarks – egal ob vom einen oder anderen Hersteller beeinflusst oder nicht – erzielte das Galaxy Note 3 etwa 15 Prozent höhere Ergebnisse als das G2. Und das, obwohl in beiden dasselbe System-on-Chip steckt, der Qualcomm Snapdragon 800 mit vier 2,2-GHz-Kernen und der GPU Adreno 330. Das bedeutet, dass Samsung grundsätzlich den Chip besser ausreizt als LG beim G2.

Benchmark vs. Praxis

Bei unseren Tests haben wir uns noch nie nur auf Benchmarks verlassen. Um die Alltagstauglichkeit der Smartphones zu überprüfen, schauen wir auf jedem Gerät nach, wie schnell Apps starten, wie flüssig die Oberfläche läuft und vor allem ob leistungsfähige Spiele darauf ruckeln.

Nach der ganzen Benchmark-Diskussion wollte ich es dieses Mal noch ausführlicher als sonst machen. Also saß ich am Ende mit den beiden Geräten am Tisch und spielte: Asphalt 8, Reckless Racing 2, GTA Vice City, Modern Combat 4. Das Ergebnis war eindeutig. Nach spätestens 5 Minuten ließ bei beiden Smartphones die Leistung nach, und zumindest bei den leistungshungrigeren Spielen ruckelte die Anzeige merklich und das Gerät erwärmte sich. Das Verhalten zeigte sich auch, wenn wir den CoreMark in der Schleife laufen ließen. Am Nachmittag war ich dann endlich soweit, die Ergebnisse in den Artikel zu schreiben und ihn abzugeben. Florian hätte wahrscheinlich vorsichtshalber noch eine zweite Runde testgespielt. (acb)