Платим блогерам
Редакция
Новости Hardware Алексей Сычёв
В наших новостях мы уже упоминали об официальной реакции Futuremark на недовольство Nvidia составом тестов и методикой определения производительности видеосистемы в новом бенчмарке 3DMark 2003. Судя по всему, выход этого теста вызвал такой общественный резонанс, что наиболее влиятельные фигуры графического бизнеса не могли оставаться в стороне. В результате, к спору об объективности 3DMark 2003 в качестве теста присоединилась и канадская компания ATI.

Собственно, вклад последней в горячие дискуссии на текущий момент минимален. Краткий анонс грядущих доводов со стороны ATI был выложен вчера на сайте Extreme Hardware , большая часть статьи при этом отображает реакцию Futuremark на выпады в ее сторону.

Первым делом, ATI парировала следующую претензию Nvidia... Последняя была недовольна тем, что в четвертой сцене 3DMark 2003, воспевающей красоту "матушки-природы", только два из девяти пиксельных шейдеров относятся к версии 2.0, показывающей производительность технологий DirectX 9.0, а остальные семь - это относящиеся к DirectX 8 шейдеры версии 1.4. По мнению Nvidia, этот факт ставил под сильное сомнение способность 3DMark 2003 объективно представлять производительность графических карт в среде DirectX 9.0. Этим самым Nvidia хотела намекнуть, что при использовании Pixel Shader 2.0 ее изделие по имени GeForce FX могло бы превзойти конкурента в лице Radeon 9700 Pro.

ATI встала на защиту Futuremark и парировала этот довод Nvidia следующим образом... По словам представителей ATI, использование всех шейдеров в версии 2.0 в такой сцене могло бы сильно снизить производительность, и ни один разработчик игр не станет включать поддержку шейдеров 2.0 ради зрелищности, забывая о быстродействии. Баланс зрелищности и скорости всегда является компромиссом, и в текущей сцене 3DMark 2003 только воздух, вода и листья были выполнены с применением Pixel Shader 2.0. Распространение этой зрелищной, но ресурсоемкой технологии на другие элементы сцены было бы крайне неразумным - считают в ATI. По крайней мере, на существующем этапе развития графических акселераторов.

В своем письме в адрес сайта Hard OCP официальный представитель ATI по связям с общественностью очень дипломатично выразил общее одобрение теста 3DMark 2003 (почему бы и нет - их Radeon 9700 Pro резво "щелкает" все тесты :)). Не давая никаких частных оценок применяющейся методики и состава тестов, представитель канадской компании сообщил следующее...

ATI считает 3DMark 2003 удачным диагностическим средством оценки производительности современных и будущих графических решений в будущих игровых программах. Свою актуальность 3DMark 2003 не утратит еще год-два - по мнению ATI. Эта компания все же склоняется к мнению, что для объективной оценки производительности графической системы необходимо дополнять синтетические тесты типа 3DMark 2003 реальными игровыми приложениями.

Более того, 3DMark 2003 признается ATI прогрессивным продуктом, уже сейчас дающим возможность оценить производительность графических плат в будущих играх на базе DirectX 9. Ценность синтетических тестов в том, что они выходят значительно раньше игр с применением новейших API, поскольку разработчики последних более инертны в силу ограничений, накладываемых рыночной инфраструктурой.

Далее сотрудник ATI отмечает, что при использовании в качестве теста игровых отдельных приложений объективной картины производительности видеосистемы не складывается - каждая игра делает упор на использование каких-то специфичных технологий, упуская из виду остальные. Синтетический тест способен всесторонне нагрузить видеосистему, выделяя все ее преимущества и недостатки.

В качестве резюме своего письма представитель ATI сообщает, что при тестировании графических решений "все средства хороши", и они в равной степени принимают и синтетические тесты, и реальные игры, и любые иные диагностические средства. Все это помогает получить разработчикам компании ATI обратную связь, позволяющую обозначить направления совершенствования их изделий. Зачастую получается так, что от оптимизации под конкретную задачу выигрывают другие задачи.

В завершение своего послания ATI отмечает, что использование синтетических тестов при разработке графических решений позволяет выявлять и устранять те недочеты, с которыми впоследствии могли бы столкнуться разработчики игр. 3DMark 2003 должен помочь тем самым оптимизировать процесс подготовки будущих графических плат ATI к производству, а также позволить усовершенствовать драйверы к моменту выхода готовых игр с поддержкой DirectX 9.

В указанной статье на сайте Extreme Hardware также ставится под сомнение объективность результатов тестирования GeForce FX в 3DMark 2003 с новыми драйверами версии 42.68. Вчера вы могли воочию убедиться в том, как существенно изменяется результат при использовании драйверов версии 42.67 - с 4000 до 5166 "деноминированных попугаев". При этом, как уже успели заметить наши коллеги с сайта Hard OCP, производительность GeForce FX практически не увеличивается в других тестовых приложениях и играх. В данном факте усматривается не столько гибкость драйверов и возможностей чипа NV30, сколько желание Nvidia выставить свое неуклюжее детище в более выгодном свете.

Futuremark в своем ответе на данный факт размыто объясняет, что использование ее программного продукта для целей публичной оценки быстродействия тех или иных аппаратных средство должно производиться с применением общедоступных версий драйверов, не предполагающих какой-то специальной оптимизации. В качестве защиты от подобных недобросовестных "оптимизаторов" компания предлагает в комплекте поставки 3DMark 2003 "некоторые аналитические средства", позволяющие идентифицировать факты такой недобросовестности. Одним словом, чтобы не повадно было :)...

В качестве оправдания на высказывания о непригодности теста 3DMark 2003 для оценки истинной производительности игровых видеокарт Futuremark приводит несколько веских (на ее взгляд) контраргументов. Во-первых, она утверждает, что 3DMark 2003 разрабатывался "на перспективу", для оценки производительности оборудования в играх с применением DirectX 9.0. В настоящее время до появления первых игр с полноценной поддержкой этого стандарта остается не менее полугода - по мнению Futuremark.

Во-вторых, в защиту синтетических тестов против игровых в роли универсальной меры производительности оборудования, Futuremark обозначила следующие доводы: игры могут отображать производительность лишь односторонне, а также содержать оптимизацию под конкретные видеокарты и иные аппаратные решения, поэтому единственным способом беспристрастно оценить уровень производительности остается использование синтетического теста (читай - 3DMark 2003).

Тем не менее, Futuremark не отговаривает испытателей отказываться от использования игровых тестов - они могут прекрасно дополнять результаты 3DMark 2003. Собственно, все уважающие себя обозреватели так раньше и поступали :)...

В целом, компания рекомендует такую методику испытаний:

  • Для определения производительности системы в какой-то характерной игре нужно использовать в качестве теста эту игру;
  • Для определения производительности системы в играх на основе DirectX 7 и DirectX 8.1 следует использовать "старый добрый" 3DMark 2001 SE;
  • Для определения производительности системы в среде DirectX 9.0 рекомендуется применять 3DMark 2003.

Далее разработчики 3DMark 2003 начали отвечать на претензии "по пунктам".

Так, в отношении первого теста с применением сцены из авиасимулятора на основе DirectX 7, было заявлено следующее: данный тест не должен был отображать объективную производительность системы в играх на основе DirectX 7. Его первичной задачей было дополнить набор тестов с использованием более совершенных технологий, чтобы 3DMark 2003 можно было запускать и на машинах, не поддерживающих DirectX 8.1 и старше, а также не обладающих достаточной производительностью. Для более объективной оценки производительности оборудования в среде DirectX 7 компания рекомендует использовать 3DMark 2001 SE.

В плане критики тестов 2 и 3 из состава 3DMark 2003 основное недовольство публики было вызвано использованием пиксельных шейдеров версий 1.1 и 1.4, без участия версий 1.2 и 1.3. На этот счет Futuremark пояснила, что главной задачей любого игрового теста является показать максимум производительности на существующей аппаратной конфигурации. Проведя ряд аналитических исследований, они установили, что использование шейдеров версий 1.2 и 1.3 не дает никаких преимуществ в плане производительности или зрелищности по сравнению с версией 1.1. По этой причине от использования "избыточных" для избранных сцен технологий было решено отказаться. В конце абзаца Futuremark любезно напоминает, что любая видеокарта, имеющая поддержку Pixel Shader 2.0, также обеспечивает обратную совместимость с версиями 1.4, 1.3, 1.2 и 1.1.

На замечание об использовании в тестах 2 и 3 одинаковой технологии рендеринга компания возражает, что для четырех имеющихся тестов наличие трех технологий рендеринга в совокупности обеспечивает основание для объективной оценки, в то время как любой игровой тест сам по себе предоставляет возможность использовать лишь одну методику рендеринга.

Следующим объектом скептицизма со стороны "негодующей публики" стало использование в 3DMark 2003 технологии наложения текстур поверхностей (skinning) посредством вершинных шейдеров, а не программного метода с привлечением вычислительной мощности центрального процессора. Futuremark заявила, что использование программных способов наложения текстур на поверхности было оправдано в эпоху графических карт с поддержкой DirectX 8 первого поколения, когда центральный процессор справлялся с этой задачей быстрее. В современных видеокартах с поддержкой DirectX 9 блок вершинных шейдеров производит наложение текстур на объекты в несколько раз быстрее, чем при использовании центрального процессора. Для сравнения - система на базе процессора Pentium 4 3,06 ГГц и видеоплаты Radeon 9700 Pro теряет в производительности в пять раз при использовании программного скиннинга, а система на базе процессора Pentium III 800 МГц теряет в производительности более чем в 20 раз.

При этом компания не считает, что использование вершинных шейдеров становится "узким местом" при масштабировании системы по режимам графического разрешения. Если бы это было так, то при любом разрешении получался бы одинаковый результат. На деле же этого не наблюдается, и "узким местом" становится производительность пиксельных шейдеров.

По части нагрузки на видеосистему 3DMark 2003 обладает следующими характеристиками: за один кадр передается около 780 000 полигонов и порядка 100 Мб графических данных - все это "благодаря" возможностям API DirectX 9.0. Более того, разработчики заявляют, что использующая все возможности DirectX 9 игра в таком же объеме, как и 3DMark 2003, появится еще не скоро. В настоящее время, нет более "директ-икс-девятого" приложения, чем 3DMark 2003 - образно выразились представители компании. К тому времени, когда оно появится, они успеют написать новую версию 3DMark.

В заключение своей "оправдательной речи" Futuremark сообщает, что 3DMark 2003 был встречен геймерами во всем мире с большим энтузиазмом, и за первые трое суток с сайта разработчиков было скачано свыше 1,5 миллиона копий этого теста. Дескать, народная любовь - лучшее доказательство объективности и беспристрастности теста :).

В сложившейся ситуации единственным разумным выводом становится принятие следующего положения: 3DMark 2003 разработан для оценки производительности видеокарт будущего поколения, поэтому недоумевать по поводу плохих достижений вашей системы в этом тесте не стоит - через некоторое время (при условии модернизации аппаратной части) "энная часть" домашних компьютеров будет лихо "молотить" деноминированных попугаев тысячами, отображая "Мать-Природу" во всей ее красоте :)...

Сейчас обсуждают