Анализ влияния механизмов защиты от уязвимостей Meltdown и Spectre на производительность на примере Intel NUC7i7BNH

для раздела Блоги

Как известно, уязвимости Meltdown и Spectre, являющиеся проблемой в безопасности процессоров, были исправлены, и нам было интересно узнать, как эти изменения отразятся в процессе тестирования. Для этого мы будет сравнивать результаты, полученные на системах с новыми процессорами, уже имеющими исправления, с результатами тестирования систем со старыми процессорами, не обладающими защитой Meltdown и Spectre.


Характеристики тестовой системы

В качестве системы с уже включенной защитой была взята платформа Intel NUC7i7BNH с процессором Kaby Lake. Мы выбрали ее, во-первых, потому, что эта платформа появилась на рынке относительно недавно, а во-вторых, потому, что, в отличие от других производителей, чьи системы у нас были, Intel для активации защиты предлагает обновление BIOS.



Intel NUC7i7BNH

Процессор

Intel Core i7-7567U
Kaby Lake-U, 2C/4T, 3.5 - 4.0 GHz, 14nm+, 4 MB L2, 28W TDP

Память

Crucial Ballistix Sport LT BLS16G4S240FSD.16FAD DDR4
15-15-15-35 @ 2133 MHz
2x16 GB

Графика

Intel Iris Plus Graphics 650

Накопители

ADATA SX8000NP
(128 GB; M.2 Type 2280 PCIe 3.0 x4 NVMe; Micron 32L 3D MLC)

Сеть

Intel Dual Band Wireless-AC 8260
(2x2 802.11ac - 866 Mbps)
1x Intel 10/100/1000 RJ-45 GbE

Аудио

3.5mm HD audio 5.1/7.1

Порты

4x USB 3.0 Type-A
1x Thunderbolt 3 USB-C
1x micro-SDXC

ОС

Windows 10 Enterprise x64

Цена

445$

Полные характеристики

Intel NUC7i7BNH


Тесты проводились на трех конфигурациях с защитой от атак:

  • Полностью без защиты
  • Только с исправлениями для ОС
  • С исправлениями для ОС и микрокода процессора

Наша система получится несколько выбивающейся из общей массы, поскольку обновления микрокода все еще находятся в стадии распространения и большинство систем обходятся только лишь одной защитой на уровне патчей для операционной системы. В то же время, так как исправления микрокода предназначены в основном для Spectre, а исправления для Meltdown реализуются на уровне ОС, то это позволит нам разглядеть уровень влияния исправлений микрокода на существующий уровень производительности с учетом исправлений для ОС.





Система без какой-либо защиты от атак работала на Windows 10 версии 16299.125 и BIOS v0054. Как мы можем видеть из скриншота ниже, система восприимчива как к Spectre, так и к Meltdown.

Вторая конфигурация использовала Windows 10 версии 16299.309 и BIOS v0060. Как видно, система устойчива к Meltdown, но не к Spectre.

Последняя полностью пропатченная система работала на Windows 10 версии 16299.214 и BIOS v0061. Данная конфигурация демонстрирует полную защиту как от Spectre, так и от Meltdown.

В процессе испытаний, для оценки влияния исправлений на производительность системы, мы использовали набор тестов для настольных компьютеров с низким энергопотреблением и промышленных ПК.


Результаты тестов SYSmark 2014 SE и PCMark 10

SYSmark 2014 SE - это бенчмарк, основанный на приложениях, использующихся в реальной работе, который воспроизводит типичные шаблоны использования офисных программ, создания медиа-контента и анализа данных/финансового анализа. Кроме того, данный тестовый пакет рассматривает такой аспект, как пользовательский опыт, который связан с запуском приложений и открытием файлов, многозадачностью и т.д. Результаты сравниваются с некоей усредненной системой, которая на графиках обозначена как эталонная система SYSmark 2014 SE. Она подоразумевает использование Intel Core i3-6100, 4 ГБ оперативной памяти и 256 ГБ SATA SSD. В каждом из сценариев эталонная система имеет результат, равный 1000, и результат 2000 будет означать, что тестируетмая система в два раза быстрее, чем эталонная.





Как мы можем видеть, исправления действительно имеют определенное влияние на производительность. Оно варьируется от приблизительно 5% в офисных сценариях до примерно 10% в тестах на отзывчивость.

Кроме тестов на производительность SYSmark 2014 SE также замеряет энергопотребление систем. Результаты показывают, что, хотя внедрение механизмов защиты от атак и делает систему медленнее, но вместе с тем при выполнения заданий она также потребляет и меньше количество энергии.





Результаты тестов Futuremark PCMark 10

PCMark 10 оценивает систему с учетом различных сценариев использования, среди них фигурируют как общие задачи, такие как просмотр веб-страниц и запуск приложений, так и задачи, характеризующиеся производительной деятельностью, это редактирование документов, игры и создание контента. Бенчмарки запускались с профилем PCMark 10 Extended, результаты фиксировались с учетом различных сценариев. Хотя основное влияние на них оказывали процессор и графический чип, оперативная память и запоминающие устройства также вносили некоторый вклад. В процессе работы PCMark 10 схема энергопотребления была установлена в режим "Сбалансированный".

Как и в SYSmark 2014 SE, изменение производительности заметно во всех сценариях использования. Так, в сценарии Essential, при котором происходит оценка работы основных и неотъемлемых частей ОС, результаты системы, экипированной защитой от угроз, примерно на 6,5% ниже, чем у системы, не имеющей какой-либо защиты. Однако производительность в играх страдает не сильно. Суммарный результат ниже приблизительно на 2,3%.





Результаты тестов Futuremark PCMark 8

Мы продолжаем использовать тестовый пакет PCMark 8, так как он имеет больше аспектов сравнения. PCMark 8 предоставляет возможность проверки в различных условиях, домашних, творческих, рабочих и сравнение производительности как только с участием процессора, так и с использованием ускорения OpenCL. Мы прогнали бенчмарки на выбранных конфигурациях с учетом всех трех сценариев использования. Поскольку в данном случае оценки в значительной степени зависят от использующегося в системе процессора, то не вызывает удивления тот факт, что процессор влияет на производительность. Результаты пропатченной системы в среднем на 2% ниже.

Другие тесты Futuremark

Пакет PCMark 7 демонстрирует 4%-ную потерю производительности.

Результаты в 3DMark 11 с установкой "Entry" и 3DMark 2013 Cloud Gate с активированной защитой оказываются даже лучше, но в 3DMark 2013 Ice Storm производительность просаживается на более чем 13%.

Результаты тестирования дисковой подсистемы в Futuremark PCMark 8

В пакете PCMark 8 присутствует бенчмарк для оценки быстродействия дисковой подсистемы, который генерирует типичные рабочие нагрузки на устройства хранения данных, такие как загрузка игр и обработка документов. Результаты представлены в двух формах, первая - это обычный числовой результат, а вторая показывает замеренную пропускную способность дисковой подсистемы.

В то время, как абсолютный результат защищенной конфигурации ниже всего лишь на 1.3%, пропускная способность дисковой подсистемы уменьшилась на приблизительно 29%. Подобная потеря в производительности частично объясняется тем, что производительность NVMe накопителей связана с процессором. Весьма вероятно, что SATA накопители не будут испытывать такой резкой потери производительности из-за внедрения исправлений.

Прочие тесты

Для тестирования 3D-рендеринга мы используем CINEBENCH R15, который предлагает три режима: OpenGL, однопоточный и многопоточный. Патчи практически не оказывают влияния на данный тест, все полученные результаты находятся в пределах погрешности, возникающей при многочисленном прогоне бенчмарка.

Следующий тест, x264 v5.0, также показывает отсутствие воздействия на производительность заплаток для Meltdown и Spectre.

7-Zip представляет собой очень эффективную программу для сжатия, которая в тестах при использовании только лишь центрального процессора зачастую опережает коммерческие варианты, содержащие ускорение с помощью OpenCL. 7-Zip включает в себя бенчмарк, предоставляющий множество деталей относительно эффективности работы процессора. В данном тестовом наборе нас интересуют оценки сжатия и распаковки, выраженные в MIPS, при задействовании всех доступных потоков. И здесь защитные механизмы также не оказывают практически никакого воздействия на производительность, полученные результаты опять располагаются в пределах погрешности.

Бенчмарк Agisoft PhotoScan преобразует двухмерные изображения в трехмерные карты из точек, мешей и текстур. Мы используем версию, работающую из командной строки, которая предлагает два режима работы: с участием только центрального процессора и с участием как центрального, так и графического процессоров (с помощью OpenCL). В версии 1.3 обрабатывается 84 фотографии и выполняется четыре этапа вычислений:

  • Выравнивание фотографий (доступно ускорение с помощью OpenCL)
  • Построение облака точек (доступно ускорение с помощью OpenCL)
  • Построение мешей
  • Построение текстур

Мы засекаем время, затраченное на прохождение каждого из этапов. Поскольку одни элементы программы являются однопоточными, другие многопоточными, и некоторые из них используют графический процессор, то этот тест можно считать достаточно важным с точки зрения создания и редактирования медиаконтента.

Так как это несинтетический бенчмарк, то на некоторых этапах мы можем разглядеть изменения в производительности. На первом и последнем отсутствуют значительные различия, тогда как на втором и третьем разница составляет около 12,8% и 6,8% соответственно в случае запуска без задействования графического процессора.


Подведение итогов

В таблице ниже приводятся результаты, показывающие уровень потери производительности в различных тестах.


Бенчмарк

Результат (полная защита vs без защиты)

SYSmark 2014 SE - Общий рейтинг

-5.47%

SYSmark 2014 SE - Офисные задачи

-5.17%

SYSmark 2014 SE - Создание медиаконтента

-4.11%

SYSmark 2014 SE - Анализ данных / фин. анализ

-2.05%

SYSmark 2014 SE - Отзывчивость

-10.48%



PCMark 10 Общий результат

-2.31%

PCMark 10 Базовая производительность

-6.56%

PCMark 10 Продуктивность

-8.03%

PCMark 10 Игры

+5.56%

PCMark 10 Создание контента

-0.33%



PCMark 8 - Домашние задачи

-1.9%

PCMark 8 - Создание контента

-2.32%

PCMark 8 - Рабочие задачи

-0.83%

PCMark 8 - Дисковая подсистема

-1.34%

PCMark 8 - Пропускная способность д.п.

-29.15%



PCMark 7 - Общий результат

-4.03%



3DMark 11- Преднастройка Entry

+2.44%



3DMark 13 - Cloud Gate

+1.14%

3DMark 13 - Ice Storm

-13.73%



Photoscan v1.3 - Этап 1

-2.09%

Photoscan v1.3 - Этап 2

-12.82%

Photoscan v1.3 - Этап 3

-6.70%

Photoscan v1.3 - Этап 4

-2.84%

Photoscan v1.3 - Этап 1 (GPU)

+1.1%

Photoscan v1.3 - Этап 2 (GPU)

+1.46%



Cinebench R15 - Однопоточный режим

+3.58%

Cinebench R15 - Многопоточный режим

-0.32%

Cinebench R15 - OpenGL

+3.78%



x264 v5.0 - Проход 1

-1.1%

x264 v5.0 - Проход 2

-0.75%



7z - Сжатие

-0.16%

7z - Распаковка

-0.38%


Выявленные в процессе тестирования, +/-3%-ные отклонения в производительности, которые имеют отображение во многих подтестах, являются нормой. Значительные изменения проявляются в процессе испытаний дисковой подсистемы. Кроме того, в определенных вычислительных нагрузках потеря производительности превышает 10%.

В целом заметно, что исправления для Meltdown и Spectre оказывают влияние в большей степени на приложения, использующиеся в реальной работе, нежели на синтетические тесты. Основными факторами, воздействующими на результаты бенчмарков являются устройства хранения и подсистема ввода-вывода. Чем больше операций производится, тем более вероятно, что патчи скажутся на работе программы. И наоборот, интенсивные вычислительные нагрузки, которые слабо связаны с операциями ввода-вывода, не так чувствительны к изменениям. Некоторая ирония состоит в том, что наиболее подвержены снижению производительности те системы, которые имеют наиболее быстрые накопители.

Источник: AnandTech

Оценитe материал
рейтинг: 1.0 из 5
голосов: 1

Возможно вас заинтересует

Популярные новости

Сейчас обсуждают