Benchmarks: SPECjbb2013 misst nicht korrekt

Die Standard Performance Evaluation Corporation (SPEC) hat einen Fehler in ihrem SPECjbb2013-Benchmark entdeckt. So soll die Vergleichbarkeit der Ergebnisse nicht mehr gegeben sein. Die Non-Profit-Organisation entwickelt Benchmarks für Hardware und Software, beim SPECjbb2013 handelt es sich um einen Test, der die Leistung eines Servers auf der Basis von Java-Applikationen misst.

Dabei simuliert die Software eine weltweit operierende Supermarkt-Kette, wobei es der Server mit einer Mischung aus Point-of-Sale-Requests, Online-Aufträgen und Data-Mining-Operationen aufnehmen muss. Ein Transaction Injector (TxI) initiiert die einzelnen Aufträge an das System, durchschnittlich kauft ein Kunde 60 Waren. Jedoch kann es vorkommen, dass Kunden dabei das gesamte Lager bei hoher Last leer kaufen. Zwar gibt das System ein Nachkaufen von Waren bei einem Lagerstand von unter 10 Prozent in Auftrag, es kann aber nicht schnell genug reagieren. Konkret hatten die Entwickler die Grenze für eine erfolgreiche Transaktion zu niedrig angesetzt (~1 Prozent des ursprünglichen Ziels), sodass selbst ein Einkauf mit bloß einer Ware als erfolgreich angesehen wurde. Je nach Umgebung kann es zu unterschiedlichen Ergebnissen kommen, wodurch der Benchmark nicht mehr vergleichbar ist.

Der primäre Fehler zieht zudem noch zwei weitere Effekte nach sich: Bei jedem Einkauf sendet der Supermarkt eine Quittung an die Zentrale. Da einige Einkäufe jedoch weniger als 60 Waren enthalten können, kann die Last durch Data-Mining-Operationen der Zentrale leichter ausfallen, als angenommen. Hinzu kommt, dass der Fehler in Version 1.01 des Benchmarks stärker auftritt als im Vorgänger. So ist auch eine Vergleichbarkeit zwischen den Ausgaben nicht gegeben.

Die SPEC weist auf allen Seiten des Benchmarks auf den Fehler hin. Zudem sollen Kunden, die eine alte Version einsetzen, die überarbeitete Ausgabe kostenlos erhalten. (fo)