☰
︎

Повторное тестирование Cinebench - занижение результатов AMD и возможная подмена версии

Не так давно я сравнил три версии Cinebench между собой, и оказалось что разработчики с каждой версией занижали результаты процессоров AMD, в этот раз я нашел еще более старую версию бенчмарка и обнаружил расхождение между официальным пакетом и "зеркалом".
12 ноября 2021, пятница 06:36
Hard-Workshop для раздела Блоги

Текст опубликован в личном блоге и его автор не имеет отношения к администрации сайта

Первое тестирование показало что Cinebench с каждой версией увеличивал преимущество процессоров Intel относительно AMD, ситуация аналогична CPU-Z, и я решил сделать более подробное тестирование.

Я постарался учесть комментарии к предыдущим статьям и сделать тест с учетом всего что выйдет учесть, но забегая вперед скажу что ничего кардинально не изменилось в плане разницы между результатами...

На этот раз я буду использовать i3-10105F и R7 2700X с зафиксированной частотой по всем ядрам на уровне 3.9 ГГц, а так же R7 2700X будет участвовать с разными конфигурациями ядер.

Еще добавлю в сравнение R5 1600AF чисто для информативности, но он работает под управлением Windows 7 потому результатов в 23 версии Cinebench не будет так как ему запрещено работать на системах ниже чем Windows 10.

AVX / AVX2 и библиотеки от Intel

Сначала немного про инструкции, Cinebench использует инструкции AVX, потому все претензии в комментариях по поводу слабого AVX у AMD Ryzen (zen+) будут проигнорированы так как с AVX у Zen+ нет проблем, есть проблемы только с AVX2 который не используется.

Инструкции которые использует Cinebench R20, тут же видно что Cinebench R20 использует библиотеки от Intel (libmmd.dll):

Скриншот взят из видео:

Подготовка версий Cinebench и подмена

Первым делом следует все версии теста скачать и распаковать, и на этом этапе я столкнулся с подменой версии Cinebench 11.5, разработчики изменили бенчмарк и он не совпадает с архивной версией которая находилась на "зеркале" Guru3D.

Из изменений на первый взгляд только результат в базе данных для Xeon W5590, он стал больше в "новой" версии, и тестировали разработчики W5590 на Windows XP вместо Windows 7...

При этом версию сборки разработчики забыли подменить для результата Xeon W5590 из базы данных.

Еще отмечу копирайт 2009 года в обеих сборках, хотя сборка из "зеркала" была скомпилирована в 2009 году, а сборка из официального архива в 2010 году.

CPU-Z и рабочие параметры

Процессоры i3-10105F, R7 2700X, R7 2700X (4+0), R5 1600AF.

Все процессоры кроме R5 1600AF работают при 3.9 ГГц, в случае Intel это установка множителя 39 на все ядра, в случае AMD это настройка P-State.

HPET (High Precision Event Timer)

В комментариях к предыдущему тестированию некоторые люди писали что из-за HPET могут быть разные результаты, я долго думал над этим, и решил ничего не трогать по ряду причин:

1) Обычный пользователь явно даже не подумает о том что какой-то HPET может влиять, и будет использовать стандартные настройки в 100% случаев.

2) Я использую один и тот же SSD с одной и той же операционной системой, а тесты все делаю в один заход без лишних перезагрузок и т.п.

3) Сравнение происходит относительное, даже если HPET влияет, он будет влиять на все собранные результаты в пределах захода.

4) Учитывая второй и третий пункты, исключена ситуация с разными результатами когда берут у разных людей казалось бы с одинаковыми конфигурациями и сравнивают получая несоответствие.

Я не вижу смысла в пределах данной статьи делать тестирование HPET.

Сравнение результатов разных версий

Сравнивать результаты разных версий и сравнивать разницу между результатами разных версий это не одно и то же.

Результаты тестов

Первым идет i3-10105F, потом R7 2700X, R7 2700X с отключенным CCX, R5 1600AF.

Cinebench 11.5 (RC23933)

Cinebench 11.5 (с официального сайта CB25720)

Cinebench 15 (RC8332)

Cinebench 20 (281795)

Cinebench 23 (330542)

Сравнение результатов

В этот раз я постарался максимально объективно сделать сравнение, были зафиксированы частоты ядер у R7 2700X и i3-10105F на уровне 3.9 ГГц, был отключен один CCX у R7 2700X чтобы конфигурация процессора была идентична i3-10105F, и ситуация с результатами осталась идентичной как в предыдущем тестировании...

Единственное отличие есть в режиме одного потока, так как теперь частоты зафиксированы, технологии Boost процессоров не влияют на результат и можно заметить что в режиме одного потока очевидного занижения результатов процессоров AMD нет.

В режиме использования всех потоков процессора отчетлива видна тенденция к завышению результата процессору Intel и занижению результата процессорам AMD.

Старую версию Cinebench 11.5 я не стал сравнивать с остальными из-за большой погрешности.

Если сравнить относительно i3-10105F, то очевидно занижение производительности процессоров AMD, однако в режиме одного потока очевидной разницы нет когда частоты зафиксированы и технологии Boost не вмешиваются в работу.

А если посмотреть на старую версию то появляется ощущение, что разработчики Cinebench метаются между AMD и intel, но даже в старой версии относительные результаты AMD были лучше, чем в новых версиях, хотя не стоит забывать о погрешности старой версии и Win7 в случае R5 1600AF.

Итоги

Даже сделав более тщательный ретест с фиксированными частотами процессоров в разной конфигурации, склонение многопоточной производительности осталось так же очевидно, как и в прошлом тестировании, где процессоры работали в стоковом Boost режиме, единственное, что стала неоднозначна разница в режиме одного потока.

То что разработчики Cinebench версии 20/23 использовали библиотеки от Intel это факт, и вполне вероятно благодаря данному факту процессоры AMD в данных версиях теста пошли в минус относительно Cinebench 15 при использовании всех потоков, в то время как процессор от Intel ушел только в плюс.

По поводу AVX/AVX2, это не одно и то же, первые Ryzen имели проблемы с AVX2, но они не имели никаких проблем с AVX, и это важно так как Cinebench не использует AVX2, это к замечаниям из предыдущего тестирования где Zen/Zen+ упрекали в плохой реализации AVX пытаясь оправдывать этим заниженные результаты в новых версиях Cinebench.

И да, я пытался занижать множителем AVX2 в биосе с i3-10105F, и никакой разницы в результатах я не обнаружил с заниженным множителем AVX2, что лишний раз подтверждает сказанное ранее.

Думаю лучше посмотреть в сторону бенчмарков с открытым исходным кодом, чем в сторону Cinebench и CPU-Z что с закрытым исходным кодом...

На этом все, благодарю за внимание и комментарии из которых появляются новые идеи для тестирования.