В кругах специалистов, проводящих тесты компьютерных комплектующих в играх, давно укрепилось мнение, что в качестве инструментария, пригодного для тестов, подходят только игровые бенчмарки и демки. По их мнению, утилита FRAPS, часто используемая для тех же целей простыми пользователями, для этого не годится. Причина проста: человек не в состоянии протестировать несколько заходов одной игровой сцены и получить при этом одинаковый результат. Разброс замеров будет слишком велик.
Позволю себе не согласиться с этим. Я уже на протяжении года занимаюсь тестами разнообразных игр и в своих исследованиях не брезгую пользоваться утилитой FRAPS. В данной статье я постараюсь практическим путем доказать, что эта утилита подходит для проведения игровых тестов.
Мое желание мотивировано позицией относительно игровых бенчмарков и демок. Игр с возможностью использовать эти утилиты немного. В великом множестве разнообразия игровых проектов их доля крайне мала, и судить по результатам тестов вышеуказанных утилит о производительности компьютера в других играх крайне нерационально. Использование FRAPS помогает расширить список игр в тестовом инструментарии и как следствие повысить объективность результатов того или иного исследования.
Конфигурация тестового стенда:
В целях минимизации зависимости производительности видеокарт от скорости системы центральный процессор во время тестирования с увеличением напряжения до 1.6. В был разогнан до частоты в 3.81 ГГц:
При этом оперативная память работала на частоте в 846 МГц с таймингами 5-5-5-15-2t при напряжении в 1.8 В.
Все тесты были проведены в операционной системе Windows Vista Ultimate Edition x64 SP1. Использовались библиотеки DirectX 9.0с, а также драйверы видеокарт ATi Catalyst 9.3 и NVIDIA GeForce 182.08.
Тестирование производительности видеокарт было проведено в разрешении: 1680 x 1050. Активация анизотропной фильтрации и полноэкранного сглаживания производилась непосредственно в настройках игр. Все игры тестировались в дефолтовых настройках драйверов GeForce и Catalyst Control Center.
Для проведения тестирования производительности видеокарты был использован следующий набор синтетических бенчмарков и игр:
Assassins Creed - DirectX 10.0, разрешение 1680х1050, полноэкранное сглаживание 2, тени 3, пост - эффекты 3, качество графики 3, уровень детализации 3.
Call of Duty 4: Modern Warfare - DirectX 9.0, разрешение 1680х1050, полноэкранное сглаживание 4, анизотропная фильтрация 16, фильтрация текстур – билинейная, разрешение текстур – very high, разрешение карты текстур – very high, зеркальное разрешение текстур – very high, тени - on, отражения - on, глубина поля on, освещение – on, количество источников динамического освещения – high, смягчение края – on, модель – on, физика ударов пуль – on, детализация – high, детали воды – high.
Call of Juarez - DirectX 10.0, разрешение 1680х1050, полноэкранное сглаживание 4, уровень детализации – high, карта теней 2048х2048, качество теней - high.
Clive Barker’s: Jericho - DirectX 9.0, разрешение 1680х1050, полноэкранное сглаживание 4, тени - high, фактура - high, размытость – high.
Colin McRae: Dirt - DirectX 9.0, разрешение 1680х1050, полноэкранное сглаживание 4, общий уровень детализации - very high, качество теней - very high.
Crysis v1.2 - DirectX 9.0, разрешение 1680х1050, полноэкранное сглаживание 2, анизотропная фильтрация 0, качество текстур - high, качество объектов - high, качество теней - high, качество физики - high, качество шейдеров - high, качество объемного освещения - high, качество спецэффектов - high, качество постобработки - high, качество частиц - high, качество воды – high.
Crysis Warhead - DirectX 9.0, разрешение 1680х1050, полноэкранное сглаживание 2, анизотропная фильтрация 0, качество текстур - high, качество объектов - high, качество теней - high, качество физики - high, качество шейдеров - high, качество объемного освещения - high, качество спецэффектов - high, качество постобработки - high, качество частиц - high, качество воды – high, качество размытия – high.
Devil May Cry4 - DirectX 10.0, разрешение 1680х1050, полноэкранное сглаживание 4, разрешение текстур – very high, качество теней - very high, уровень детализации – very high.
Fallout 3: Operation Anchorage - DirectX 9.0, разрешение 1680х1050, полноэкранное сглаживание 4, анизотропная фильтрация 16, HDR – on, качество текстур – high, качество воды - high, качество теней - high, фильтрация теней - high, расстояние до объектов – maximum, уровень детализации – very high.
Far Cry 2 - DirectX 9.0, разрешение 1680х1050, полноэкранное сглаживание 4, реалистичность деревьев – very high, огонь – very high, физика – very high, растительность – very high, затенение – very high, ландшафт – very high, геометрия – very high, пост-обработка – high, текстуры – very high, тени – very high, детализация – high.
Gears of War - DirectX 10.0, разрешение 1680х1050, полноэкранное сглаживание - on, качество постпроцессов - very high, качество постобработки - high, качество текстур – very high, детализация персонажа - high, детализация визуальных эффектов - high, качество освещения – динамическое, качество теней – high.
Gothic 3: Forsaken Gods - DirectX 9.0, разрешение 1680х1050, полноэкранное сглаживание 4, анизотропная фильтрация 16, дистанция (высокодетализированная) - high, дистанция (низкодетализированная) - high, кеш ресурса - high, детализация объекта - high, версия шейдеров – 3.0, качество текстур - high, качество теней - high, HDR – on.
Grand Theft Auto 4 - DirectX 9.0, разрешение 1680х1050, полноэкранное сглаживание 0, качество текстур - high, качество воды - high, качество изображения - very high, дистанция обзора – 35, глубина детализации – 100, транспортный поток – 50, интенсивность теней – 100, MO RFTLRESO - high, MO SDW - very high, MO DOF – on.
Half Life 2: Episode Two - DirectX 9.0, разрешение 1680х1050, полноэкранное сглаживание 4, анизотропная фильтрация 16, детализация моделей - high, отражения в воде – отражать все, HDR – полное, размытие движения – on, детализация текстур - very high, прорисовка теней - high, шейдеры - high, коррекция цвета – on.
Left 4 Dead - DirectX 9.0, разрешение 1680х1050, полноэкранное сглаживание 4, анизотропная фильтрация 16, мультиядерный рендринг – on, детализация шейдеров - very high, детали спецэффектов - high, детали текстур – high.
Lost Planet: Colonies - DirectX 10.0, разрешение 1680х1050, полноэкранное сглаживание 4, анизотропная фильтрация 16, HDR - high, разрешение текстур - high, качество моделей - high, качество теней - high, разрешение теней - high, качество смазывания движения - high, разрешение эффектов - high, качество эффектов - high, качество освещения - high, поправка ракурса – on, одновременные операции (количество задействованных процессорных ядер) – 4, независимый рендринг – on, качество фильтрации – DX10, качество меха – DX10.
Mass Effect - DirectX 9.0, разрешение 1680х1050, полноэкранное сглаживание 4 (форсируется из драйверов), анизотропная фильтрация 16, динамические тени – on, детализация текстур - very high, размытость движений - on, зернистость – off.
Mercenaries 2: World in Flame - DirectX 9.0, разрешение 1680х1050, полноэкранное сглаживание 0, качество воды - high, качество неба - high, тени – on, качество моделей - high, плотность частиц - high, версия шейдеров - high, размытие – on.
Necro Visio N – DirectX 10.0, разрешение 1680х1050, полноэкранное сглаживание 2, анизотропная фильтрация 16, текстуры оружия - high, текстуры окружения - high, текстуры персонажей - high, качество рендринга - high, динамические тени - high, динамический свет - high, детализация частиц - high, качество воды - high, погодные эффекты – on, размытие при движении – on, HDRI – on, параметры объема – on.
Need for Speed: Pro Street - DirectX 9.0, разрешение 1680х1050, полноэкранное сглаживание 4, анизотропная фильтрация 16, детализация трассы - very high, освещение трассы – on, тени на трассе - very high, эффекты трассы - very high, детализация автомобилей - very high, эффекты автомобилей - very high, повреждения - very high, дым – on.
Need for Speed: Undercover - DirectX 9.0, разрешение 1680х1050, полноэкранное сглаживание 4, анизотропная фильтрация 16, трассы - very high, тени на трассе - very high, эффекты трассы - very high, детализация машин - very high, эффекты машин - very high, повреждения - very high, дым – on.
PT-Boats: Knights of the Sea - DirectX 10.0, разрешение 1680х1050, полноэкранное сглаживание 2, качество – high.
Race Driver: GRID - DirectX 9.0, разрешение 1680х1050, полноэкранное сглаживание 4, общий уровень детализации - very high.
Sacred 2: Fallen Angel - DirectX 9.0, разрешение 1680х1050, полноэкранное сглаживание 4, детализация теней - very high, детализация рендринга - very high, детализация земли - very high, детализация эффектов - very high, детализация травы - very high, погода – on.
STALKER: Clear Sky - DirectX 9.0, разрешение 1680х1050, полноэкранное сглаживание 0, анизотропная фильтрация 16, тип рендера – улучшенное полное освещение, дальность видимости - very high, детализация объектов - very high, качество текстур - very high, плотность травы - very high, тень от солнца – on, дальность освещения - very high, качество теней - very high, свет фонариков НПС – on, детальный рельеф – on, steep parallax – on, качество солнца – low, солнечные лучи – low, SSAO – low, мягкая вода – on, мягкие частицы – on, глубина резкости – on, объемный свет – on.
The Last Remnant - DirectX 9.0, разрешение 1680х1050, полноэкранное сглаживание 0, качество – high. World in Conflict - DirectX 9.0, разрешение 1680х1050, полноэкранное сглаживание 4, анизотропная фильтрация 16, пиксельные шейдеры - high, проработка физики - - high, качество текстур - high, текстуры поверхности - high, качество воды - high, тени – on, динамическая детализация – very high, качество анимации - high, следы от техники – very high, размеры отражений – 1024, все дополнительные настройки включены.
World in Conflict: Soviet Assault - DirectX 9.0, разрешение 1680х1050, полноэкранное сглаживание 4, анизотропная фильтрация 16, пиксельные шейдеры - high, проработка физики - high, качество текстур - high, текстуры поверхности - high, качество воды - high, тени – on, динамическая детализация – very high, качество анимации - high, следы от техники – very high, размеры отражений – 1024, все дополнительные настройки включены, за исключением: высокое разрешение LOS – off и изображение загрязнено – off.
X3 Terran Conflict - DirectX 9.0, разрешение 1680х1050, полноэкранное сглаживание 2, анизотропная фильтрация 16, качество текстур - high, качество шейдеров – high, динамическое освещение – on, освещение кораблей – on.
Игры Call of Juarez, Crysis, Crysis Warhead, Devil May Cry4, Far Cry 2, Grand Theft Auto 4, Lost Planet: Colonies, PT-Boats: Knights of the Sea, The Last Remnant, World in Conflict, World in Conflict: Soviet Assault и X3 Terrain Conflict тестировались игровыми бенчмарками.
Игры Call of Duty 4: Modern Warfare, HalfLife2: Episode Two, Left 4 Dead и Stalker: Clear Sky тестировались при помощи прогона демок.
Игры Assassins Creed, Clive Barker’s: Jericho, Colin McRae: Dirt, Fallout 3: Operation Anchorage, Gears of War, Gothic 3: Forsaken Gods, Mass Effect, Mercenaries 2: World in Flame, Necro Visio N, Need for Speed: Pro Street, Need for Speed: Undercover, Race Driver: GRID и Sacred 2: Fallen Angel тестировались при помощи утилиты FRAPS. По ним делалось три захода, за результат бралась среднестатистическая цифра этих прогонов.
Во всех играх замерялись min и avg значения FPS.
В бенчмарках и демках, у которых отсутствовал показатель min fps, это значение замерялось при помощи утилиты FRAPS.
VSync при проведении тестов был отключен.
Перейдем непосредственно к тестам.
В историческом шутере Assassins Creed тестовый отрезок состоит из пробежки главного героя по городу. Время замера составило - 90 секунд. Замер min и avg fps производился утилитой FRAPS.
Взглянув на график распределения FPS по времени, мы видим практически их полную повторяемость в трёх заходах. Кривые всех трех прогонов почти совпадают, с минимальной погрешностью. Как итог, максимальная разница avg fps в трех заходах равна 2%. Эта погрешность является не критичной.
Вывод: для замера производительности видеокарт в этой игре можно пользоваться утилитой FRAPS.
В популярном шутере от первого лица Call of Duty 4: Modern Warfare тестовый отрезок состоит из сцен боестолкновений. Замер avg fps проводился в мультиплеере игры, встроенным бенчмарком.
Взглянув на график распределения FPS по времени, мы видим практически их полную повторяемость в трёх заходах. Кривые всех трех прогонов почти совпадают, с минимальной погрешностью. Как итог, avg fps в трех заходах равен.
Вывод: в мультиплеере этой игры результаты замеров производительности видеокарт объективные.
В ковбойском вестерне Call of Juarez тестовый отрезок состоит из свободного полета камеры над каньоном. Замер avg fps проводился встроенным бенчмарком в демо-версии игры.
Взглянув на график распределения FPS по времени, мы видим, что повторяемость трех заходов в этой игре идентичная. Кривые всех трех прогонов почти совпадают, с минимальной погрешностью. Как итог, avg fps в трех заходах равен.
Вывод: результаты замеров производительности видеокарт в демо-версии этой игры объективные.
В horror шутере Clive Barker’s: Jericho тестовый отрезок состоит из пробежки главного героя по развалинам древнего города. Время замера составило - 90 секунд. Замер min и avg fps производился утилитой FRAPS.
Взглянув на график распределения FPS по времени, мы видим практически их полную повторяемость в трёх заходах, хотя вторую половину тестового отрезка кривые проходят с одинаковой амплитудой, но в разные отрезки времени. В результате максимальная разница avg fps в трех заходах равна 2%. Эта погрешность является не критичной.
Вывод: для замера производительности видеокарт в этой игре можно пользоваться утилитой FRAPS.
В популярном гоночном симуляторе Colin McRae: Dirt тестовый отрезок представляет собой два круга автогонки. Время замера составило - 90 секунд. Замер min и avg fps производился утилитой FRAPS.
Взглянув на график распределения FPS по времени, мы видим, что о повторяемости трех заходов говорить не приходится. Все три кривые идут в разный промежуток времени, но их амплитуда одинакова. Максимальная разница avg fps во всех трех заходах равна 4%. Эта погрешность является не критичной.
Вывод: это уже третья игра в тестовом пакете, в которой для замера производительности можно пользоваться утилитой FRAPS.
Тестовый отрезок cpu_test бенчмарка представляет собой сцену расстрела корейского блок-поста главным героем игры из гранатомета. Замер avg fps проводился игровым бенчмарком.
Взглянув на график распределения FPS по времени, мы видим практически их полную повторяемость в трёх заходах. Но кривые всех трех прогонов не совпадают, их амплитуда на некоторых отрезках имеет разную величину. Тем не менее, avg fps в этой игре во всех трех заходах равен.
Вывод: результаты замеров производительности видеокарт в cpu_test бенчмарке этой игры объективные.
gpu_test График min и avg FPSТестовый отрезок gpu_test бенчмарка представляет собой свободный полет камеры над островом.
Взглянув на график распределения FPS по времени, мы видим, что повторяемость трех заходов в этой игре далеко не идеальна. Кривые всех трех прогонов не идентичные, их амплитуда на некоторых отрезках имеет разную величину. Кривая захода №1 не совпадает с кривыми других попыток. Как следствие, максимальная разница avg fps во всех трех заходах равна 6%. Это довольно существенная погрешность, но не критическая.
Вывод: результаты замеров производительности видеокарт в gpu_test бенчмарке этой игры с оговорками можно назвать объективными.
harbor График min и avg FPSТестовый отрезок harbor бенчмарка представляет собой свободный полет камеры над островом со сценами отстрела корейцев главным героем игры.
Взглянув на график распределения FPS по времени, мы видим, что повторяемость трех заходов в этой игре идентичная. Но кривые трех прогонов не совпадают, их амплитуда на некоторых отрезках имеет разную величину. В результате максимальная разница avg fps в трех заходах равна 4%. Эта погрешность является не критичной.
Вывод: результаты замеров производительности видеокарт в harbor бенчмарке этой игры объективные.
Тестовый отрезок ambush бенчмарка представляет собой пробежку главного героя по пересеченной местности через горящую деревню. Замер avg fps проводился игровым бенчмарком.
Взглянув на график распределения FPS по времени, мы видим практически их полную повторяемость в трёх заходах. Кривые трех прогонов почти совпадают, с минимальной погрешностью. Как итог, avg fps в трех заходах равен.
Вывод: в ambush бенчмарке этой игры результаты замеров производительности видеокарт объективные.
cargo График min и avg FPSТестовый отрезок cargo бенчмарка представляет собой свободный полет камеры над островом. Эта сцена насыщена большим количеством взрывов, резких ускорений и замедлений. Это может негативно сказаться на результатах тестов.
Взглянув на график распределения FPS по времени, мы видим, что повторяемость трех заходов в этой игре далека от идеальной. Кривые трех прогонов не идентичные, их амплитуда на некоторых отрезках имеет разную величину. Кривая захода №1 не совпадает с кривыми других попыток. Как следствие, максимальная разница avg fps в трех заходах равна 11%. Это существенная погрешность, поэтому результаты игрового бенчмарка является необъективными.
frost График min и avg FPSТестовый отрезок frost бенчмарка представляет собой сцену боя корейцев с пришельцами на фоне обледенелого американского авианосца.
Взглянув на график распределения FPS по времени, мы видим практически их полную повторяемость в трёх заходах. Но кривые трех прогонов не совпадают, их амплитуда на некоторых отрезках имеет разную величину. В результате максимальная разница avg fps в трех заходах равна 3%. Эта погрешность является не критичной.
Вывод: результаты замеров производительности видеокарт в frost бенчмарке этой игры объективные.
Большим недостатком всех игровых бенчмарков компании Capcom является то, что камера в них движется по идеальной повторяющейся траектории, но персонажи в этих сценах двигаются по-разному. Как следствие, это приводит к существенной погрешности в результатах тестов.
Тестовый отрезок scene1 представляет собой бой главного героя с монстрами на городской улице. Замер avg fps проводился игровым бенчмарком.
Это единственный отрезок в игре, где персонажи двигались одинаково, а не хаотично.
Взглянув на график распределения FPS по времени, мы видим, что повторяемость трех заходов в этой игре идентичная. Кривые всех трех прогонов почти совпадают, с минимальной погрешностью. Как итог, avg fps во всех трех заходах равен.
Вывод: в scene1 этой игры результаты замеров производительности видеокарт объективные.
Scene2 График min и avg FPSТестовый отрезок scene2 представляет собой бой главного героя с монстрами на арене в джунглях. Во всех трех прогонах бой протекал на разных участках арены и, как следствие, персонажи не всегда попадают в камеру. Это могло послужить причиной большой погрешности в тестировании.
Тем не менее, взглянув на график распределения FPS по времени, мы видим практически их полную повторяемость в трёх заходах. Разная амплитуда кривых встречается только во второй половине тестового отрезка. В результате максимальная разница avg fps в трех заходах равна 2%. Эта погрешность является не критичной.
Вывод: результаты замеров производительности видеокарт в scene2 этой игры объективные.
Scene3 График min и avg FPSТестовый отрезок scene3 представляет собой бой главного героя с огненным боссом в горящей деревне. Примечательно, что во всех трех прогонах герои двигались по-разному: использовали разное оружие и приемы, с разными спецэффектами. Периодически они вообще не попадают в камеру.
Как следствие, взглянув на график распределения FPS по времени, мы видим, что о повторяемости в этой сцене не может быть и речи. Все кривые не идентичные, их амплитуда на некоторых отрезках имеет разную величину. Но все же максимальная разница avg fps в трех заходах равна 2%. Эта погрешность является не критичной.
Вывод: результаты замеров производительности видеокарт в scene3 этой игры объективные.
Scene4 График min и avg FPSТестовый отрезок scene4 представляет собой бой толпы монстров и главного героя на летающем острове. Причем в этом боестолкновении действует принцип все против всех.
Взглянув на график распределения FPS по времени, мы видим, что повторяемость трех заходов в этой игре почти идентичная. В результате максимальная разница avg fps в трех заходах равна 1%. Эта погрешность является не критичной.
Вывод: результаты замеров производительности видеокарт в scene4 этой игры объективные.
В футуристическом RPG Fallout 3: Operation Anchorage тестовый отрезок состоит из пробежки главного героя по радиоактивной пустоши вдоль реки. Время замера составило - 85 секунд. Замер min и avg fps производился утилитой FRAPS.
Взглянув на график распределения FPS по времени, мы видим, что повторяемость трех заходов в этой игре идентичная, но амплитуда кривых на некоторых участках различается. В результате максимальная разница avg fps в трех заходах равна 5%. Эта погрешность является не критичной.
Вывод: для замера производительности видеокарт в этой игре можно пользоваться утилитой FRAPS.
В шутере Far Cry 2 были выявлены два больших недостатка, влияющие на результаты тестов в этой игре:
Тестовый отрезок playback представляет собой бой главного героя с наемниками на маленьком ранчо. Замер avg fps проводился игровым бенчмарком.
Взглянув на график распределения FPS по времени, мы видим практически их полную повторяемость в трёх заходах. Но кривые трех прогонов не совпадают, их амплитуда на некоторых отрезках имеет разную величину. В результате максимальная разница avg fps в трех заходах равна 2%. Эта погрешность является не критичной.
Вывод: результаты замеров производительности видеокарт в playback этой игры объективные.
ranch График min и avg FPSСцена боестолкновения главного героя с наемниками в тестовом отрезке ranch очень похожа на сцену playback. Как следствие, максимальная разница avg fps во всех трех заходах равна 2%.
В футуристическом шутере Gears of War тестовый отрезок состоит из сцены схватки главного героя с боссом-пауком. Задача вашего персонажа проста - загнать босса в котлован с раскаленной лавой. При хорошей тренировке, получается, загнать супостата в требуемое место с четвертой попытки. После падения босса в лаву, идет скриптовая сцена, в которой он не желает погибать и пытается выпрыгнуть из лавы. Эта сцена занимает треть тестового отрезка. Время замера составило - 100 секунд. Замер min и avg fps производился утилитой FRAPS.
Взглянув на график распределения FPS по времени, мы видим, что повторяемость трех заходов в этой игре далека, не идеальна, но практически идентична. В результате максимальная разница avg fps во в заходах равна 3%. Эта погрешность является не критичной.
Вывод: это уже пятая подряд игра в тестовом пакете, в которой для замера производительности можно пользоваться утилитой FRAPS.
В продолжение знаменитой Gothic 3 - Gothic 3: Forsaken Gods тестовый отрезок состоит из пробежки главного героя по городу. Время замера составило - 75 секунд. Замер min и avg fps производился утилитой FRAPS.
Взглянув на график распределения FPS по времени, мы видим, что повторяемость трех заходов в этой игре далека, не идеальна, но идентична. Игровой движок этой игры настолько кривой, что на простой сцене пробежки по полупустому городу он умудряется выдавать разные результаты во всех трех заходах. Отдельно стоит отметить частые фризы и рывки на протяжении всего тестового отрезка. Как следствие, максимальная разница avg fps в трех заходах равна 6%. Это довольно существенная погрешность, но не критическая.
Вывод: результаты замеров производительности видеокарт в этой игре при помощи утилиты FRAPS, с оговорками можно назвать объективными.
В суперпопулярном творении команды Roсkstar - Grand Theft Auto 4 представляет собой сцену боя мотоциклистов в городе.
Взглянув на график распределения FPS по времени, мы видим практически их полную повторяемость в трёх заходах. Кривые всех трех прогонов почти совпадают, с минимальной погрешностью. Как итог, максимальная разница avg fps во всех трех заходах равна 2%. Эта погрешность является не критичной.
Вывод: результаты замеров производительности видеокарт во встроенном игровом бенчмарке объективные.
В постапокалиптическом шутере знаменитой студии Valve - Half Life 2: Episode Two тестовый отрезок состоит из сцены боестолкновения главного героя с монстрами в пещере.
Взглянув на график распределения FPS по времени, мы видим практически их полную повторяемость в трёх заходах. Разная амплитуда кривых встречается только во второй половине тестового отрезка. В результате максимальная разница avg fps в трех заходах равна 1%. Эта погрешность является не критичной.
Вывод: результаты замеров производительности видеокарт в демке этой игры объективные.
В постапокалиптическом шутере студии Valve - Left 4 Dead тестовый отрезок состоит из сцены боестолкновения четверки главных героев с зомби в помещениях и на улице.
Взглянув на график распределения FPS по времени, мы видим практически их полную повторяемость в трёх заходах. Но амплитуда кривых на всех участках тестового отрезка разная. В результате максимальная разница avg fps в трех заходах равна 3%. Эта погрешность является не критичной.
Вывод: результаты замеров производительности видеокарт в демке этой игры объективные.
Тестовый отрезок area1 представляет собой хаотичный полет нескольких сотен акридов около заброшенного завода.
Взглянув на график распределения FPS по времени, мы видим практически их полную повторяемость в трёх заходах. Кривые трех прогонов почти совпадают, с минимальной погрешностью. Как итог, avg fps в трех заходах равен.
Вывод: в area1 этой игры результаты замеров производительности видеокарт объективные.
Area2 График min и avg FPSТестовый отрезок area2 тестовый отрезок состоит из свободного полета камеры над разрушенным заводом.
Взглянув на график распределения FPS по времени, мы видим практически их полную повторяемость в трёх заходах. Кривые трех прогонов почти совпадают, с минимальной погрешностью. Как итог, максимальная разница avg fps в трех заходах равна 3%. Эта погрешность является не критичной.
Вывод: результаты замеров производительности видеокарт в area2 этой игры объективные.
В футуристическом шутере Mass Effect тестовый отрезок представляет собой сцену езды бронетранспортера по горному серпантину во время снежной бури. Время замера составило - 60 секунд. Замер min и avg fps производился утилитой FRAPS.
Взглянув на график распределения FPS по времени, мы видим практически их полную повторяемость в трёх заходах. Кривые трех прогонов почти совпадают, с минимальной погрешностью. Как итог, avg fps в трех заходах равен.
Вывод: для замера производительности видеокарт в этой игре можно пользоваться утилитой FRAPS.
В шутере Mercenaries 2: World in Flame тестовый отрезок состоит из проезда главного героя на танке по взгорью и разрушения маленькой деревушки в финале. Эта сцена насыщена боестолкновениями, что может послужить причиной большой погрешности результатов тестирования. Время замера составило - 90 секунд. Замер min и avg fps производился утилитой FRAPS.
Взглянув на график распределения FPS по времени, мы видим, что повторяемость трех заходов в этой игре далека не идеальная, но идентична. Все кривые не совпадают, их амплитуда на некоторых отрезках имеет разную величину. Но все же максимальная разница avg fps в трех заходах равна 2%. Эта погрешность является не критичной.
Вывод: для замера производительности видеокарт в этой игре можно пользоваться утилитой FRAPS.
В шутере Necro Visio N тестовый отрезок состоит из скриптовой сцены расстрела английских солдат, попавших в немецкую засаду. Время замера составило - 90 секунд. Замер min и avg fps производился утилитой FRAPS.
Взглянув на график распределения FPS по времени, мы видим практически их полную повторяемость в трёх заходах. Кривые трех прогонов почти совпадают, с минимальной погрешностью. Как итог, максимальная разница avg fps в трех заходах равна 3%. Эта погрешность является не критичной.
Вывод: для замера производительности видеокарт в этой игре можно пользоваться утилитой FRAPS.
В гоночном симуляторе Need for Speed: Pro Street тестовый отрезок представляет собой два круга автогонки. Время замера составило - 120 секунд. Замер min и avg fps производился утилитой FRAPS.
Взглянув на график распределения FPS по времени, мы видим, что о повторяемости трех заходов говорить не приходится. Все три кривые идут в разный промежуток времени, но их амплитуда одинакова. Но все же максимальная разница avg fps в трех заходах равна 2%. Эта погрешность является не критичной.
Вывод: это уже третья игра в тестовом пакете, в которой для замера производительности можно пользоваться утилитой FRAPS.
В гоночном симуляторе Need for Speed: Undercover тестовый отрезок представляет собой сцену погони полиции за главным героем. Время замера составило - 50 секунд. Замер min и avg fps производился утилитой FRAPS.
Взглянув на график распределения FPS по времени, мы видим, что повторяемость трех заходов в этой игре далека не идеальная, но идентична. Все кривые не совпадают, их амплитуда на некоторых отрезках имеет разную величину. Но все же максимальная разница avg fps в трех заходах равна 1%. Эта погрешность является не критичной.
Вывод: для замера производительности видеокарт в этой игре можно пользоваться утилитой FRAPS.
В морском симуляторе PT-Boats: Knights of the Sea тестовый отрезок представляет собой сцену морского боя. Камера перемещается по сцене под разными ракурсами и углами, а также на разных высотах. В этом игровом бенчмарке было замечено, что корабли двигаются с небольшим различием, плюс в разных прогонах модель повреждения у кораблей разная.
Взглянув на график распределения FPS по времени, мы видим практически их полную повторяемость в трёх заходах. Кривые всех трех прогонов почти совпадают, с минимальной погрешностью. Но во второй половине сцены их амплитуда достигает внушительных значений отличия. Это грозит вылиться в большую погрешность результатов тестирования. Как следствие, максимальная разница avg fps во всех трех заходах равна 8%. Это существенная погрешность, но она укладывается в допустимый десятипроцентный разброс результатов тестов.
Вывод: результаты замеров производительности видеокарт в демо-версии этой игры объективные, но с некоторыми оговорками.
В популярном гоночном симуляторе Race Driver: GRID тестовый отрезок представляет собой автогонки в городе с частой сменой пейзажей и большим количеством столкновений с соперниками. Время замера составило - 100 секунд. Замер min и avg fps производился утилитой FRAPS.
Взглянув на график распределения FPS по времени, мы видим практически их полную повторяемость в трёх заходах. Кривые в трех прогонов почти совпадают, с минимальной погрешностью. Как итог, максимальная разница avg fps в трех заходах равна 2%. Эта погрешность является не критичной.
Вывод: для замера производительности видеокарт в этой игре можно пользоваться утилитой FRAPS.
В красочной RPG Sacred 2: Fallen Angel тестовый отрезок состоит из пробежки главного героя по городу. Время замера составило - 90 секунд. Замер min и avg fps производился утилитой FRAPS.
Взглянув на график распределения FPS по времени, мы видим, что повторяемость трех заходов в этой сцене далека не идеальная. Все кривые не совпадают, их амплитуда на некоторых отрезках имеет разную величину. Но все же максимальная разница avg fps в трех заходах равна 4%. Эта погрешность является не критичной.
Вывод: для замера производительности видеокарт в этой игре можно пользоваться утилитой FRAPS.
В популярном постапокалиптическом шутере STALKER: Clear Sky тестовый отрезок состоит из свободного пролета камеры над лагерем сталкеров.
Взглянув на график распределения FPS по времени, мы видим практически их полную повторяемость в трёх заходах. Но амплитуда кривых на некоторых участках тестового отрезка разная. Как итог, максимальная разница avg fps в трех заходах равна 3%. Эта погрешность является не критичной.
Вывод: результаты замеров производительности видеокарт в демо-версии этой игры объективные.
В файтинге The Last Remnant тестовый отрезок представляет собой сцену боестолкновения дракона с разнообразными существами.
Взглянув на график распределения FPS по времени, мы видим практически их полную повторяемость в трёх заходах. Кривые в трех прогонов почти совпадают, с минимальной погрешностью. Как итог, максимальная разница avg fps в трех заходах равна 1%. Эта погрешность является не критичной.
Вывод: результаты замеров производительности видеокарт в демо-версии этой игры объективные.
В стратегии World in Conflict тестовый отрезок состоит из сцены штурма Натовскими войсками прибрежного городка. Кульминацией становится ядерный взрыв, прорисованный во всех деталях.
Взглянув на график распределения FPS по времени, мы видим практически их полную повторяемость в трёх заходах. Кривые в трех прогонов почти совпадают, с минимальной погрешностью. Как итог, avg fps в трех заходах равен. Эта погрешность является не критичной.
Вывод: результаты замеров производительности видеокарт во встроенном бенчмарке этой игры объективные.
В дополнении к World in Conflict - World in Conflict: Soviet Assault сцена штурма прибрежного городка осталась такой же, как в первой части. Но камера летает над ним в другом ракурсе, поэтому результаты тестов немного отличаются.
Взглянув на график распределения FPS по времени, мы видим практически их полную повторяемость в трёх заходах. Кривые трех прогонов почти совпадают, с минимальной погрешностью. Как итог, максимальная разница avg fps в трех заходах равна 3%. Эта погрешность является не критичной.
Вывод: результаты замеров производительности видеокарт во встроенном бенчмарке этой игры объективные.
В космическом симуляторе X3 Terrain Conflict тестовый отрезок представляет собой сцену космического боя. Замер min и avg fps производился утилитой FRAPS.
Взглянув на график распределения FPS по времени, мы видим практически их полную повторяемость в трёх заходах. Кривые трех прогонов почти совпадают, с минимальной погрешностью. Как итог, avg fps в трех заходах равен.
Вывод: результаты замеров производительности видеокарт в демо-версии этой игры объективные.
Подведем итог сегодняшнего исследования:
Из вышеуказанной статистики видно, что большой разницы между тестированием игр бенчмарками, демками или FRAPS не наблюдается. Более того, в играх Crysis Warhead и PT-Boats: Knights of the Sea были обнаружены существенные проблемы при их тестировании бенчмарками. Звучит банально, но проблема заключается именно в повторяемости тестовых заходов.
Из вышеуказанной проблемы не стоит делать вывод, что у бенчмарков бывают проблемы, а у игр, протестированных FRAPS, их нет.
Чтобы подобрать грамотную методику тестирования для использования этой утилиты, надо подобрать сцену, не изобилующую боестолкновениями и спецэффектами. Для таких методик хорошо подходят сцены пробежек главного героя по местности и автогонки. В случае сцен с боевыми действиями надо подбирать сцену со скриптовыми действиями противников, например бой Маркуса с боссом-пауком в Gears of War.
Обратимся еще раз к вышеуказанной статистике. Из нее видно, что при использовании разных утилит существует немалый разброс результатов разных заходов тестирования. От специалиста, проводящего тесты, требуется большой опыт обработки результатов замеров. Немаловажную роль также играет его непредвзятость к тому или иному вендору при подготовке статьи к публикации.
Материал подготовлен командой проекта Community of Hardware Enthusiasts.