Linaro trickst beim Benchmarken
Die Linaro-Entwickler räumen ein, die kräftige Performance-Steigerung für Android mit einem raffinierten Benchmark-Trick erreicht zu haben.
Der kräftigen Performance-Steigerung für Android, die Linaro kürzlich mit zwei Panda-Boards vorgeführt hatte, liegt ein raffinierter Benchmark-Trick zugrunde. Wie der Linaro-Entwickler Bernd Rosenkränzer mittlerweile selbst auf Nachfragen einräumte, ist der eingesetzte 3D-Benchmark ziemlich "bogus" (zu deutsch: unecht, schwindlerisch).
Der Benchmark beschäftigt primär die CPU (und eben nicht die GPU) mit aufwendigen memcpy-Aktionen. Eben diese profitieren von den Optimierungen an der Toolchain durch Linaro. Allerdings sollten sie in einem Grafikbenchmark keinen relevanten Anteil haben. Auf die Frage, warum Linaro trotzdem diesen Benchmark verwendet habe, schreibt Rosenkränzer frech: "Weil er gut aussieht".
Trotz allem belegt der Vorfall, dass bei so komplexen Systemen wie Android auf einem Panda-Board die Performance an vielen Stellen auf der Strecke bleiben kann. Kleine Änderungen an der Toolchain können daher große Auswirkungen haben – insbesondere bei schlecht programmiertem Code. Andererseits ist bei der Beurteilung von Benchmarkergebnissen immer große Vorsicht geboten, denn mitunter wird etwas ganz anderes gemessen, als a priori erwartet respektive behauptet wurde. (bbe)
