Когда сторонние компании проводят проверку IT-продуктов, все предполагают, что тестирование проходит на одинаковых условиях и результаты не подвержены манипуляциям. Но обнаружение того, что это не так, может вызвать недоумение, учитывая важность, которую закупочные компании придают этим тестовым показателям.
Standard Performance Evaluation Corporation (SPEC), корпорация, специализирующаяся на оценке производительности, внесла изменения в около 2600 записей, касающихся результатов теста SPEC CPU 2017 для процессоров Intel, указывая, что результаты для процессоров Intel Xeon, особенно старых моделей, не являются достоверными. Расследование, проведенное в рамках внутреннего аудита SPEC, показало, что Intel использовала компиляторы, которые были оптимизированы только для узкого круга тестов, что означает, что реальная производительность процессоров могла существенно отличаться от результатов, на которые рассчитывали конечные пользователи.
Intel использовала специальный компилятор, включая OneAPI DPC++/C++, который был оптимизирован для конкретного теста SPEC CPU 2017, а не для реальных рабочих нагрузок. Референсным тестом был выбран 523.xalancbmk_r/623.xalancbmk_s. Проще говоря, Intel обошла правила.
Майкл Ларабель из издания Phoronix предполагает, что специально разработанный компилятор Intel мог бы увеличить скорость на 9% в некоторых случаях и примерно на 4% для показателя SPECint.
Компания ServeTheHome сообщила, что результаты нескольких проверок, относящихся к записям SPEC, наиболее сильно пострадали от процессоров Intel Xeon Sapphire Rapids 4-го поколения. Оказалось, что оптимизации использовались в компиляторе версии 2022 года, но последняя версия (2023.2.3), которая обычно применяется для новой модели процессоров Intel Xeon Emerald Rapids 5-го поколения, больше не содержит этих оптимизаций.
Этот случай обмана не первый, когда честность компании в отношении результатов тестирования вызывает сомнения. Издание Tom's Hardware указывает на несколько известных подобных случаев, как оптимизированные драйверы от Nvidia завышали производительность их графических процессоров в 3DMark 2003. Через семь лет, в 2010 году, Nvidia обвинила AMD в использовании других настроек качества изображения для улучшения результатов тестов в сравнении с видеокартами GeForce. Поставщики мобильных чипов, такие как Qualcomm, Samsung и MediaTek, также предположительно искажали результаты производительности Android в 2020 году.
