Современные методы тестирования комплектующих в играх (страница 4)
реклама
PT-Boats: Knights of the Sea
В морском симуляторе PT-Boats: Knights of the Sea тестовый отрезок представляет собой сцену морского боя. Камера перемещается по сцене под разными ракурсами и углами, а также на разных высотах. В этом игровом бенчмарке было замечено, что корабли двигаются с небольшим различием, плюс в разных прогонах модель повреждения у кораблей разная.
реклама
Взглянув на график распределения FPS по времени, мы видим практически их полную повторяемость в трёх заходах. Кривые всех трех прогонов почти совпадают, с минимальной погрешностью. Но во второй половине сцены их амплитуда достигает внушительных значений отличия. Это грозит вылиться в большую погрешность результатов тестирования. Как следствие, максимальная разница avg fps во всех трех заходах равна 8%. Это существенная погрешность, но она укладывается в допустимый десятипроцентный разброс результатов тестов.
Вывод: результаты замеров производительности видеокарт в демо-версии этой игры объективные, но с некоторыми оговорками.
Race Driver: GRID
В популярном гоночном симуляторе Race Driver: GRID тестовый отрезок представляет собой автогонки в городе с частой сменой пейзажей и большим количеством столкновений с соперниками. Время замера составило - 100 секунд. Замер min и avg fps производился утилитой FRAPS.
реклама
Взглянув на график распределения FPS по времени, мы видим практически их полную повторяемость в трёх заходах. Кривые в трех прогонов почти совпадают, с минимальной погрешностью. Как итог, максимальная разница avg fps в трех заходах равна 2%. Эта погрешность является не критичной.
Вывод: для замера производительности видеокарт в этой игре можно пользоваться утилитой FRAPS.
Sacred 2: Fallen Angel
В красочной RPG Sacred 2: Fallen Angel тестовый отрезок состоит из пробежки главного героя по городу. Время замера составило - 90 секунд. Замер min и avg fps производился утилитой FRAPS.
Взглянув на график распределения FPS по времени, мы видим, что повторяемость трех заходов в этой сцене далека не идеальная. Все кривые не совпадают, их амплитуда на некоторых отрезках имеет разную величину. Но все же максимальная разница avg fps в трех заходах равна 4%. Эта погрешность является не критичной.
Вывод: для замера производительности видеокарт в этой игре можно пользоваться утилитой FRAPS.
STALKER: Clear Sky
реклама
В популярном постапокалиптическом шутере STALKER: Clear Sky тестовый отрезок состоит из свободного пролета камеры над лагерем сталкеров.
Взглянув на график распределения FPS по времени, мы видим практически их полную повторяемость в трёх заходах. Но амплитуда кривых на некоторых участках тестового отрезка разная. Как итог, максимальная разница avg fps в трех заходах равна 3%. Эта погрешность является не критичной.
Вывод: результаты замеров производительности видеокарт в демо-версии этой игры объективные.
The Last Remnant
В файтинге The Last Remnant тестовый отрезок представляет собой сцену боестолкновения дракона с разнообразными существами.
Взглянув на график распределения FPS по времени, мы видим практически их полную повторяемость в трёх заходах. Кривые в трех прогонов почти совпадают, с минимальной погрешностью. Как итог, максимальная разница avg fps в трех заходах равна 1%. Эта погрешность является не критичной.
Вывод: результаты замеров производительности видеокарт в демо-версии этой игры объективные.
World in Conflict
В стратегии World in Conflict тестовый отрезок состоит из сцены штурма Натовскими войсками прибрежного городка. Кульминацией становится ядерный взрыв, прорисованный во всех деталях.
Взглянув на график распределения FPS по времени, мы видим практически их полную повторяемость в трёх заходах. Кривые в трех прогонов почти совпадают, с минимальной погрешностью. Как итог, avg fps в трех заходах равен. Эта погрешность является не критичной.
Вывод: результаты замеров производительности видеокарт во встроенном бенчмарке этой игры объективные.
World in Conflict: Soviet Assault
В дополнении к World in Conflict - World in Conflict: Soviet Assault сцена штурма прибрежного городка осталась такой же, как в первой части. Но камера летает над ним в другом ракурсе, поэтому результаты тестов немного отличаются.
Взглянув на график распределения FPS по времени, мы видим практически их полную повторяемость в трёх заходах. Кривые трех прогонов почти совпадают, с минимальной погрешностью. Как итог, максимальная разница avg fps в трех заходах равна 3%. Эта погрешность является не критичной.
Вывод: результаты замеров производительности видеокарт во встроенном бенчмарке этой игры объективные.
X3 Terrian Conflict
В космическом симуляторе X3 Terrain Conflict тестовый отрезок представляет собой сцену космического боя. Замер min и avg fps производился утилитой FRAPS.
Взглянув на график распределения FPS по времени, мы видим практически их полную повторяемость в трёх заходах. Кривые трех прогонов почти совпадают, с минимальной погрешностью. Как итог, avg fps в трех заходах равен.
Вывод: результаты замеров производительности видеокарт в демо-версии этой игры объективные.
Заключение
Подведем итог сегодняшнего исследования:
- При помощи бенчмарков и демо-версий было протестировано 25 игр. Получилась следующая статистика:
- без погрешности avg fps в трех заходах оказалось восемь игр (32%);
- с погрешностью 1% avg fps в трех заходах оказалось три игры (12%);
- с погрешностью 2% avg fps в трех заходах оказалось пять игр (20%);
- с погрешностью 3% avg fps в трех заходах оказалось пять игр (20%);
- с погрешностью 4% avg fps в трех заходах оказалось одна игра (4%);
- с погрешностью 6% avg fps в трех заходах оказалось одна игра (4%);
- с погрешностью 8% avg fps в трех заходах оказалось одна игра (4%);
- с погрешностью 11% avg fps в трех заходах оказалось одна игра (4%).
- При помощи утилиты FRAPS было протестировано 13 игр. Получилась следующая статистика:
- без погрешности avg fps в трех заходах оказалось одна игра (8%);
- с погрешностью 1% avg fps в трех заходах оказалось одна игра (8%);
- с погрешностью 2% avg fps в трех заходах, оказалось, пять игр (39%);
- с погрешностью 3% avg fps в трех заходах оказалось две игры (15%);
- с погрешностью 4% avg fps в трех заходах оказалось две игры (15%);
- с погрешностью 5% avg fps в трех заходах оказалось одна игра (8%);
- с погрешностью 6% avg fps в трех заходах оказалось одна игра (8%).
Из вышеуказанной статистики видно, что большой разницы между тестированием игр бенчмарками, демками или FRAPS не наблюдается. Более того, в играх Crysis Warhead и PT-Boats: Knights of the Sea были обнаружены существенные проблемы при их тестировании бенчмарками. Звучит банально, но проблема заключается именно в повторяемости тестовых заходов.
Из вышеуказанной проблемы не стоит делать вывод, что у бенчмарков бывают проблемы, а у игр, протестированных FRAPS, их нет.
Чтобы подобрать грамотную методику тестирования для использования этой утилиты, надо подобрать сцену, не изобилующую боестолкновениями и спецэффектами. Для таких методик хорошо подходят сцены пробежек главного героя по местности и автогонки. В случае сцен с боевыми действиями надо подбирать сцену со скриптовыми действиями противников, например бой Маркуса с боссом-пауком в Gears of War.
Обратимся еще раз к вышеуказанной статистике. Из нее видно, что при использовании разных утилит существует немалый разброс результатов разных заходов тестирования. От специалиста, проводящего тесты, требуется большой опыт обработки результатов замеров. Немаловажную роль также играет его непредвзятость к тому или иному вендору при подготовке статьи к публикации.
Материал подготовлен командой проекта Community of Hardware Enthusiasts .
реклама
Лента материалов раздела
Соблюдение Правил конференции строго обязательно!
Флуд, флейм и оффтоп преследуются по всей строгости закона!
Комментарии, содержащие оскорбления, нецензурные выражения (в т.ч. замаскированный мат), экстремистские высказывания, рекламу и спам, удаляются независимо от содержимого, а к их авторам могут применяться меры вплоть до запрета написания комментариев и, в случае написания комментария через социальные сети, жалобы в администрацию данной сети.
Комментарии Правила