Современные методы тестирования комплектующих в играх
- Вступление
- Тестовая конфигурация, инструментарий и методика тестирования
- Настройки
- Методика тестирования
- Результаты тестов: сравнение производительности
- Assassins Creed
- Call of Duty 4: Modern Warfare
- Call of Juarez
- Clive Barker’s: Jericho
- Colin McRae: Dirt
- Crysis v1.2
- Crysis Warhead
- Devil May Cry4
- Fallout 3: Operation Anchorage
- Far Cry 2
- Gears of War
- Gothic 3: Forsaken Gods
- Grand Theft Auto 4
- Half Life 2: Episode Two
- Left 4 Dead
- Lost Planet: Colonies
- Mass Effect
- Mercenaries 2: World in Flame
- Necro Visio N
- Need for Speed: Pro Street
- Need for Speed: Undercover
- PT-Boats: Knights of the Sea
- Race Driver: GRID
- Sacred 2: Fallen Angel
- STALKER: Clear Sky
- The Last Remnant
- World in Conflict
- World in Conflict: Soviet Assault
- X3 Terrian Conflict
- Заключение
Вступление
В кругах специалистов, проводящих тесты компьютерных комплектующих в играх, давно укрепилось мнение, что в качестве инструментария, пригодного для тестов, подходят только игровые бенчмарки и демки. По их мнению, утилита FRAPS, часто используемая для тех же целей простыми пользователями, для этого не годится. Причина проста: человек не в состоянии протестировать несколько заходов одной игровой сцены и получить при этом одинаковый результат. Разброс замеров будет слишком велик.
Позволю себе не согласиться с этим. Я уже на протяжении года занимаюсь тестами разнообразных игр и в своих исследованиях не брезгую пользоваться утилитой FRAPS. В данной статье я постараюсь практическим путем доказать, что эта утилита подходит для проведения игровых тестов.
Мое желание мотивировано позицией относительно игровых бенчмарков и демок. Игр с возможностью использовать эти утилиты немного. В великом множестве разнообразия игровых проектов их доля крайне мала, и судить по результатам тестов вышеуказанных утилит о производительности компьютера в других играх крайне нерационально. Использование FRAPS помогает расширить список игр в тестовом инструментарии и как следствие повысить объективность результатов того или иного исследования.
Тестовая конфигурация, инструментарий и методика тестирования
Конфигурация тестового стенда:
- Процессор: Intel Core 2 Quad Q6600, 2.4 ГГц, 1.3 В, L2 2 x 4 Мбайт, FSB: 266 МГц x 4, (Kensfield, G0);
- Материнская плата: GigaByte GA-X38-DS4;
- Система охлаждения CPU: Zalman VF 9700 LED (~1000 об/мин);
- Оперативная память: 4 x 1024 Мбайт DDR2 Hynix (Spec: 846 МГц / 5-5-5-15-2t / 1.8 В);
- Дисковая подсистема: SATA-II 500 Гбайт, WD 5000KS, 7200 об/мин, 16 Мбайт;
- Привод: IDE DVD RAM & DVD±R/RW & CD±RW Pioneer DVR-109;
- Видеокарта GigaByte Radeon HD4870 512Mb (750/3600 @ 840/4000 МГц);
- Корпус: ATX CoolerMaster Centurion 590 (на вдув и выдув установлены 120-мм корпусные вентиляторы GlacialTech на ~1000 об/мин, на боковой стенке – такие же два вентилятора на ~1000 об/мин, в верхней стенке еще два вентилятора на ~1000 об/мин);
- Панель управления и мониторинга: Zalman ZM-MFC2;
- Блок питания: FSP Epsilon 700 Ватт (штатный вентилятор: 120-мм на вдув);
- Монитор: 20" Samsung T200G (Wide LCD, 1680x1050 / 60 Гц);
- Операционная система: Windows Vista Ultimate x64 SP1;
- Видеодрайвер: ATI CCC 9.3;
- RivaTuner 2.24.
реклама
В целях минимизации зависимости производительности видеокарт от скорости системы центральный процессор во время тестирования с увеличением напряжения до 1.6. В был разогнан до частоты в 3.81 ГГц:

При этом оперативная память работала на частоте в 846 МГц с таймингами 5-5-5-15-2t при напряжении в 1.8 В.
Все тесты были проведены в операционной системе Windows Vista Ultimate Edition x64 SP1. Использовались библиотеки DirectX 9.0с, а также драйверы видеокарт ATi Catalyst 9.3 и NVIDIA GeForce 182.08.
Настройки
Тестирование производительности видеокарт было проведено в разрешении: 1680 x 1050. Активация анизотропной фильтрации и полноэкранного сглаживания производилась непосредственно в настройках игр. Все игры тестировались в дефолтовых настройках драйверов GeForce и Catalyst Control Center.
Для проведения тестирования производительности видеокарты был использован следующий набор синтетических бенчмарков и игр:
Assassins Creed - DirectX 10.0, разрешение 1680х1050, полноэкранное сглаживание 2, тени 3, пост - эффекты 3, качество графики 3, уровень детализации 3.
реклама
Call of Duty 4: Modern Warfare - DirectX 9.0, разрешение 1680х1050, полноэкранное сглаживание 4, анизотропная фильтрация 16, фильтрация текстур – билинейная, разрешение текстур – very high, разрешение карты текстур – very high, зеркальное разрешение текстур – very high, тени - on, отражения - on, глубина поля on, освещение – on, количество источников динамического освещения – high, смягчение края – on, модель – on, физика ударов пуль – on, детализация – high, детали воды – high.
Call of Juarez - DirectX 10.0, разрешение 1680х1050, полноэкранное сглаживание 4, уровень детализации – high, карта теней 2048х2048, качество теней - high.
Clive Barker’s: Jericho - DirectX 9.0, разрешение 1680х1050, полноэкранное сглаживание 4, тени - high, фактура - high, размытость – high.
Colin McRae: Dirt - DirectX 9.0, разрешение 1680х1050, полноэкранное сглаживание 4, общий уровень детализации - very high, качество теней - very high.
Crysis v1.2 - DirectX 9.0, разрешение 1680х1050, полноэкранное сглаживание 2, анизотропная фильтрация 0, качество текстур - high, качество объектов - high, качество теней - high, качество физики - high, качество шейдеров - high, качество объемного освещения - high, качество спецэффектов - high, качество постобработки - high, качество частиц - high, качество воды – high.
Crysis Warhead - DirectX 9.0, разрешение 1680х1050, полноэкранное сглаживание 2, анизотропная фильтрация 0, качество текстур - high, качество объектов - high, качество теней - high, качество физики - high, качество шейдеров - high, качество объемного освещения - high, качество спецэффектов - high, качество постобработки - high, качество частиц - high, качество воды – high, качество размытия – high.
Devil May Cry4 - DirectX 10.0, разрешение 1680х1050, полноэкранное сглаживание 4, разрешение текстур – very high, качество теней - very high, уровень детализации – very high.
Fallout 3: Operation Anchorage - DirectX 9.0, разрешение 1680х1050, полноэкранное сглаживание 4, анизотропная фильтрация 16, HDR – on, качество текстур – high, качество воды - high, качество теней - high, фильтрация теней - high, расстояние до объектов – maximum, уровень детализации – very high.
Far Cry 2 - DirectX 9.0, разрешение 1680х1050, полноэкранное сглаживание 4, реалистичность деревьев – very high, огонь – very high, физика – very high, растительность – very high, затенение – very high, ландшафт – very high, геометрия – very high, пост-обработка – high, текстуры – very high, тени – very high, детализация – high.
Gears of War - DirectX 10.0, разрешение 1680х1050, полноэкранное сглаживание - on, качество постпроцессов - very high, качество постобработки - high, качество текстур – very high, детализация персонажа - high, детализация визуальных эффектов - high, качество освещения – динамическое, качество теней – high.
Gothic 3: Forsaken Gods - DirectX 9.0, разрешение 1680х1050, полноэкранное сглаживание 4, анизотропная фильтрация 16, дистанция (высокодетализированная) - high, дистанция (низкодетализированная) - high, кеш ресурса - high, детализация объекта - high, версия шейдеров – 3.0, качество текстур - high, качество теней - high, HDR – on.
Grand Theft Auto 4 - DirectX 9.0, разрешение 1680х1050, полноэкранное сглаживание 0, качество текстур - high, качество воды - high, качество изображения - very high, дистанция обзора – 35, глубина детализации – 100, транспортный поток – 50, интенсивность теней – 100, MO RFTLRESO - high, MO SDW - very high, MO DOF – on.
Half Life 2: Episode Two - DirectX 9.0, разрешение 1680х1050, полноэкранное сглаживание 4, анизотропная фильтрация 16, детализация моделей - high, отражения в воде – отражать все, HDR – полное, размытие движения – on, детализация текстур - very high, прорисовка теней - high, шейдеры - high, коррекция цвета – on.
Left 4 Dead - DirectX 9.0, разрешение 1680х1050, полноэкранное сглаживание 4, анизотропная фильтрация 16, мультиядерный рендринг – on, детализация шейдеров - very high, детали спецэффектов - high, детали текстур – high.
Lost Planet: Colonies - DirectX 10.0, разрешение 1680х1050, полноэкранное сглаживание 4, анизотропная фильтрация 16, HDR - high, разрешение текстур - high, качество моделей - high, качество теней - high, разрешение теней - high, качество смазывания движения - high, разрешение эффектов - high, качество эффектов - high, качество освещения - high, поправка ракурса – on, одновременные операции (количество задействованных процессорных ядер) – 4, независимый рендринг – on, качество фильтрации – DX10, качество меха – DX10.
реклама
Mass Effect - DirectX 9.0, разрешение 1680х1050, полноэкранное сглаживание 4 (форсируется из драйверов), анизотропная фильтрация 16, динамические тени – on, детализация текстур - very high, размытость движений - on, зернистость – off.
Mercenaries 2: World in Flame - DirectX 9.0, разрешение 1680х1050, полноэкранное сглаживание 0, качество воды - high, качество неба - high, тени – on, качество моделей - high, плотность частиц - high, версия шейдеров - high, размытие – on.
Necro Visio N – DirectX 10.0, разрешение 1680х1050, полноэкранное сглаживание 2, анизотропная фильтрация 16, текстуры оружия - high, текстуры окружения - high, текстуры персонажей - high, качество рендринга - high, динамические тени - high, динамический свет - high, детализация частиц - high, качество воды - high, погодные эффекты – on, размытие при движении – on, HDRI – on, параметры объема – on.
Need for Speed: Pro Street - DirectX 9.0, разрешение 1680х1050, полноэкранное сглаживание 4, анизотропная фильтрация 16, детализация трассы - very high, освещение трассы – on, тени на трассе - very high, эффекты трассы - very high, детализация автомобилей - very high, эффекты автомобилей - very high, повреждения - very high, дым – on.
Need for Speed: Undercover - DirectX 9.0, разрешение 1680х1050, полноэкранное сглаживание 4, анизотропная фильтрация 16, трассы - very high, тени на трассе - very high, эффекты трассы - very high, детализация машин - very high, эффекты машин - very high, повреждения - very high, дым – on.
PT-Boats: Knights of the Sea - DirectX 10.0, разрешение 1680х1050, полноэкранное сглаживание 2, качество – high.
Race Driver: GRID - DirectX 9.0, разрешение 1680х1050, полноэкранное сглаживание 4, общий уровень детализации - very high.
Sacred 2: Fallen Angel - DirectX 9.0, разрешение 1680х1050, полноэкранное сглаживание 4, детализация теней - very high, детализация рендринга - very high, детализация земли - very high, детализация эффектов - very high, детализация травы - very high, погода – on.
STALKER: Clear Sky - DirectX 9.0, разрешение 1680х1050, полноэкранное сглаживание 0, анизотропная фильтрация 16, тип рендера – улучшенное полное освещение, дальность видимости - very high, детализация объектов - very high, качество текстур - very high, плотность травы - very high, тень от солнца – on, дальность освещения - very high, качество теней - very high, свет фонариков НПС – on, детальный рельеф – on, steep parallax – on, качество солнца – low, солнечные лучи – low, SSAO – low, мягкая вода – on, мягкие частицы – on, глубина резкости – on, объемный свет – on.
The Last Remnant - DirectX 9.0, разрешение 1680х1050, полноэкранное сглаживание 0, качество – high. World in Conflict - DirectX 9.0, разрешение 1680х1050, полноэкранное сглаживание 4, анизотропная фильтрация 16, пиксельные шейдеры - high, проработка физики - - high, качество текстур - high, текстуры поверхности - high, качество воды - high, тени – on, динамическая детализация – very high, качество анимации - high, следы от техники – very high, размеры отражений – 1024, все дополнительные настройки включены.
World in Conflict: Soviet Assault - DirectX 9.0, разрешение 1680х1050, полноэкранное сглаживание 4, анизотропная фильтрация 16, пиксельные шейдеры - high, проработка физики - high, качество текстур - high, текстуры поверхности - high, качество воды - high, тени – on, динамическая детализация – very high, качество анимации - high, следы от техники – very high, размеры отражений – 1024, все дополнительные настройки включены, за исключением: высокое разрешение LOS – off и изображение загрязнено – off.
X3 Terran Conflict - DirectX 9.0, разрешение 1680х1050, полноэкранное сглаживание 2, анизотропная фильтрация 16, качество текстур - high, качество шейдеров – high, динамическое освещение – on, освещение кораблей – on.
Методика тестирования
Игры Call of Juarez, Crysis, Crysis Warhead, Devil May Cry4, Far Cry 2, Grand Theft Auto 4, Lost Planet: Colonies, PT-Boats: Knights of the Sea, The Last Remnant, World in Conflict, World in Conflict: Soviet Assault и X3 Terrain Conflict тестировались игровыми бенчмарками.
Игры Call of Duty 4: Modern Warfare, HalfLife2: Episode Two, Left 4 Dead и Stalker: Clear Sky тестировались при помощи прогона демок.
Игры Assassins Creed, Clive Barker’s: Jericho, Colin McRae: Dirt, Fallout 3: Operation Anchorage, Gears of War, Gothic 3: Forsaken Gods, Mass Effect, Mercenaries 2: World in Flame, Necro Visio N, Need for Speed: Pro Street, Need for Speed: Undercover, Race Driver: GRID и Sacred 2: Fallen Angel тестировались при помощи утилиты FRAPS. По ним делалось три захода, за результат бралась среднестатистическая цифра этих прогонов.
Во всех играх замерялись min и avg значения FPS.
В бенчмарках и демках, у которых отсутствовал показатель min fps, это значение замерялось при помощи утилиты FRAPS.
VSync при проведении тестов был отключен.
Перейдем непосредственно к тестам.
Результаты тестов: сравнение производительности
Assassins Creed


В историческом шутере Assassins Creed тестовый отрезок состоит из пробежки главного героя по городу. Время замера составило - 90 секунд. Замер min и avg fps производился утилитой FRAPS.
Взглянув на график распределения FPS по времени, мы видим практически их полную повторяемость в трёх заходах. Кривые всех трех прогонов почти совпадают, с минимальной погрешностью. Как итог, максимальная разница avg fps в трех заходах равна 2%. Эта погрешность является не критичной.
Вывод: для замера производительности видеокарт в этой игре можно пользоваться утилитой FRAPS.
Call of Duty 4: Modern Warfare


В популярном шутере от первого лица Call of Duty 4: Modern Warfare тестовый отрезок состоит из сцен боестолкновений. Замер avg fps проводился в мультиплеере игры, встроенным бенчмарком.
Взглянув на график распределения FPS по времени, мы видим практически их полную повторяемость в трёх заходах. Кривые всех трех прогонов почти совпадают, с минимальной погрешностью. Как итог, avg fps в трех заходах равен.
Вывод: в мультиплеере этой игры результаты замеров производительности видеокарт объективные.
Call of Juarez


В ковбойском вестерне Call of Juarez тестовый отрезок состоит из свободного полета камеры над каньоном. Замер avg fps проводился встроенным бенчмарком в демо-версии игры.
Взглянув на график распределения FPS по времени, мы видим, что повторяемость трех заходов в этой игре идентичная. Кривые всех трех прогонов почти совпадают, с минимальной погрешностью. Как итог, avg fps в трех заходах равен.
Вывод: результаты замеров производительности видеокарт в демо-версии этой игры объективные.
Clive Barker’s: Jericho


В horror шутере Clive Barker’s: Jericho тестовый отрезок состоит из пробежки главного героя по развалинам древнего города. Время замера составило - 90 секунд. Замер min и avg fps производился утилитой FRAPS.
Взглянув на график распределения FPS по времени, мы видим практически их полную повторяемость в трёх заходах, хотя вторую половину тестового отрезка кривые проходят с одинаковой амплитудой, но в разные отрезки времени. В результате максимальная разница avg fps в трех заходах равна 2%. Эта погрешность является не критичной.
Вывод: для замера производительности видеокарт в этой игре можно пользоваться утилитой FRAPS.
Colin McRae: Dirt


В популярном гоночном симуляторе Colin McRae: Dirt тестовый отрезок представляет собой два круга автогонки. Время замера составило - 90 секунд. Замер min и avg fps производился утилитой FRAPS.
Взглянув на график распределения FPS по времени, мы видим, что о повторяемости трех заходов говорить не приходится. Все три кривые идут в разный промежуток времени, но их амплитуда одинакова. Максимальная разница avg fps во всех трех заходах равна 4%. Эта погрешность является не критичной.
Вывод: это уже третья игра в тестовом пакете, в которой для замера производительности можно пользоваться утилитой FRAPS.
Crysis v1.2


Тестовый отрезок cpu_test бенчмарка представляет собой сцену расстрела корейского блок-поста главным героем игры из гранатомета. Замер avg fps проводился игровым бенчмарком.
Взглянув на график распределения FPS по времени, мы видим практически их полную повторяемость в трёх заходах. Но кривые всех трех прогонов не совпадают, их амплитуда на некоторых отрезках имеет разную величину. Тем не менее, avg fps в этой игре во всех трех заходах равен.
Вывод: результаты замеров производительности видеокарт в cpu_test бенчмарке этой игры объективные.


Тестовый отрезок gpu_test бенчмарка представляет собой свободный полет камеры над островом.
Взглянув на график распределения FPS по времени, мы видим, что повторяемость трех заходов в этой игре далеко не идеальна. Кривые всех трех прогонов не идентичные, их амплитуда на некоторых отрезках имеет разную величину. Кривая захода №1 не совпадает с кривыми других попыток. Как следствие, максимальная разница avg fps во всех трех заходах равна 6%. Это довольно существенная погрешность, но не критическая.
Вывод: результаты замеров производительности видеокарт в gpu_test бенчмарке этой игры с оговорками можно назвать объективными.


Тестовый отрезок harbor бенчмарка представляет собой свободный полет камеры над островом со сценами отстрела корейцев главным героем игры.
Взглянув на график распределения FPS по времени, мы видим, что повторяемость трех заходов в этой игре идентичная. Но кривые трех прогонов не совпадают, их амплитуда на некоторых отрезках имеет разную величину. В результате максимальная разница avg fps в трех заходах равна 4%. Эта погрешность является не критичной.
Вывод: результаты замеров производительности видеокарт в harbor бенчмарке этой игры объективные.
Лента материалов раздела
Соблюдение Правил конференции строго обязательно!
Флуд, флейм и оффтоп преследуются по всей строгости закона!
Комментарии, содержащие оскорбления, нецензурные выражения (в т.ч. замаскированный мат), экстремистские высказывания, рекламу и спам, удаляются независимо от содержимого, а к их авторам могут применяться меры вплоть до запрета написания комментариев и, в случае написания комментария через социальные сети, жалобы в администрацию данной сети.
Комментарии Правила