Отчет: почти все производители Android-устройств, а не только Samsung, жульничают в бенчмарках

Когда на этой неделе появилось сообщение, в котором обнаружилось, что Samsung искусственно завышает результаты бенчмарков для своего нового Galaxy Note 3, многие поспешили отметить, что Samsung не впервые был пойман на подобной практике. Та же проблема была обнаружена AnandTech у Galaxy S4 еще в июле, и сегодня сайт представил обширный отчет, показывающий, что почти каждый производитель Android-смартфонов поставляет устройства, которые делают то же самое.

Как показано на диаграмме выше, это включает HTC One, HTC One mini, LG G2, Galaxy Tab 10.1 и многие другие. На самом деле, единственные компании, которые, похоже, не используют этот метод, — это Apple и Motorola, а также Google со своими устройствами Nexus 4 и Nexus 7:

Мы начали собирать эти данные еще в июле и даже вели переговоры как с поставщиками кремния, так и с производителями оборудования о том, чтобы это прекратить. За исключением Apple и Motorola, буквально каждый производитель, с которым мы работали, поставляет (или поставлял) по крайней мере одно устройство, использующее эту нелепую оптимизацию процессора. Возможно, более старые устройства Motorola делали то же самое, но ни одно из новых устройств, которые у нас есть, такого поведения не проявило. Это системная проблема, которая, похоже, появилась за последние два года и выходит далеко за рамки Samsung… Ни одно из устройств Nexus этого не делает, что понятно, поскольку эта оптимизация не является частью AOSP. Это также помогает объяснить, почему Nexus 4 работал так медленно, когда мы его тестировали – тогда уже творился этот беспорядок, а Google в нем не участвовал.

Как отмечается в отчете, выгоды, которые производители получают от завышенных результатов, вероятно, не стоят той шумихи в прессе, которую они вызвали. AnandTech отмечает, что большинство завышенных результатов дают прирост производительности GPU и CPU в бенчмарках менее чем на 10%:

Самое забавное во всем этом то, что мы по-прежнему говорим о небольшом приросте производительности. Влияние на наши тесты CPU составляет 0–5%, а на наши бенчмарки GPU, насколько мы можем судить, где-то менее 10%. Не могу не подчеркнуть, что производителям было бы гораздо менее болезненно просто прекратить этот абсурд и вместо этого требовать лучшей производительности/энергоэффективности от своих поставщиков кремния.

Вы можете ознакомиться с полным отчетом здесь, в котором анализируются обнаруженные оптимизации для нескольких устройств в различных бенчмарк-тестах.