Alleen Apple en Motorola knoeien niet met benchmarkresultaten

Apple en Motorola knoeien niet met testresultaten van benchmarks. Dat doen Samsung, HTC, LG en Asus wel, ontdekte AnandTech.

iPhone-5S-A7-processorSamsung is opnieuw betrapt op het manipuleren van benchmarkresultaten. Tijdens het reviewen van de Samsung Galaxy Note 3 ontdekte Ars Technica dat de CPU beter presteert als er benchmarks draaien. Maar ze blijken niet de enige. Collegasite Anandtech besloot in de wereld van benchmarksoftware te duiken. Ze ontdekten dat ook HTC, Asus en LG trucs uithalen om beter uit de verf te komen in benchmarks. De HTC One en LG G2 blijken beter te presteren, vooral bij de systeembenchmark AnTuTu. De telefoons scoren zo’n 10 procent beter op de benchmarks, omdat bij het opstarten van de testsoftware de kloksnelheid van de CPU naar maximaal wordt opgevoerd. Alleen Apple en Motorola blijken zich niet schuldig te maken aan het kunstmatig opblazen van testresultaten.


Een hogere benchmarkscore geeft potentiële kopers de indruk dat het toestel sneller is dan de concurrentie. Naast AnTuTu blijken ook de Vellamo- en Quandrant-tests makkelijk te misleiden. Fabrikanten voeren optimalisaties door, specifiek gericht op deze benchmarks, waardoor de resultaten onbetrouwbaar zijn. HTC heeft in de HTC One optimalisaties voor Vellamo, AnTuTu en 3DMark doorgevoerd, terwijl LG in de LG G2 de resultaten opschroefde voor Vellamo en AnTuTu. Een ander punt is dat de benchmarks vaak een kunstmatige, extreme gebruikssituatie weergeven en dat je ervaring bij dagelijks gebruik van een smartphone heel anders kan zijn. Bij het manipuleren zorgen fabrikanten ervoor dat alle cores van een processor op maximale kloksnelheid werken, wat een onrealistische sitautie is.

De testers ontdekten de fraude toen de Samsung Galaxy Note 3 ongelooflijk goede testresultaten liet zien. Ze bleken te mooi om waar te zijn, zeker vergeleken met de LG G2, die vrijwel dezelfde specs heeft. Beide toestellen zijn voorzien van een 2,3 GHz Snapdragon 800-processor, die bij de Note 3 extreem goed presteerde. De testers ontdekten vervolgens dat de benchmarks er heel anders uitzagen als ze de benodigde testsoftware een andere naam gaven, waardoor de telefoon het niet langer herkende.

Wie geïnteresseerd is in benchmarks kan bij AnandTech een uitgebreid verhaal lezen hoe er met testresultaten geknoeid wordt.

Reacties: 15 reacties

Reacties zijn gesloten voor dit artikel.