Netflix обеспечивает до 200 Гбит/с видеопотока с TLS-шифрованием с одного сервера с 2020 года. Тем не менее, компания стремится удвоить пропускную способность до 400 Гбит/с. Во время своей презентации на конференции EuroBSD 2021 Эндрю Галлатин, старший инженер-программист в Netflix, подробно рассказал о проблемах увеличения пропускной способности серверов на базе FreeBSD.

Netflix обратился к процессорам AMD EPYC Rome для достижения своей цели. Компания оснастила свой сервер процессором EPYC 7502P, который имеет 32 ядра Zen 2 с базовой тактовой частотой 2,5 ГГц и тактовой частотой 3,35 ГГц в ускоренном режиме. Что еще более важно, 32-ядерный зверь предлагает до 128 линий PCIe 4.0, что обеспечивает пропускную способность около 250 ГБ/с или около 2 Тбит/с для сетевых устройств. Netflix объединил EPYC 7502P с 256 ГБ памяти DDR4-3200 с общей пропускной способностью памяти до 150 ГБ/с или 1,2 Тбит/с для сетевых модулей.

В качестве хранилища сервер Netflix на базе AMD использует 18 SSD Western Digital WD SN720 2 ТБ NVMe. Он также оснащен парой сетевых адаптеров Nvidia Mellanox ConnectX-6 Dx, которые обмениваются данными через интерфейс PCIe 4.0 x16.

Netflix экспериментировал с различными конфигурациями NUMA (неоднородная архитектура памяти), чтобы максимизировать пропускную способность. Процессоры AMD EPYC поддерживают разные узлы NUMA на сокет, которые могут быть 1, 2 или 4. Естественно, процессор определяет, какие режимы будут доступны, а какие нет. EPYC 7502P, который является SKU, используемым на сервере Netflix, поддерживает все три режима NUMA. Согласно слайду Галлатина, конфигурация с одним узлом NUMA обеспечивает скорость до 240 Гбит/с, а конфигурация с четырьмя узлами NUMA увеличивает скорость до 280 Гбит/с.

Пытаясь оптимизировать производительность и избежать аппаратных узких мест, Netflix протестировал перенос TLS-шифрования на Mellanox ConnectX-6 Dx вместо EPYC 7502P. Немного повозившись с программным обеспечением и обновив прошивку, Netflix удалось выжать 190 Гбит/с на адаптер Mellanox ConnectX-6 Dx или 380 Гбит/с с двумя сетевыми адаптерами. Шифрование больше не проходит через процессор, поэтому это помогло высвободить ресурсы и вдвое сократить пропускную способность памяти. Результаты показали, что загрузка процессора составляет 50% с четырьмя узлами NUMA и около 60% без NUMA.

Конфигурация сервера Netflix

Netflix оценил другие варианты процессоров от Intel и Ampere, но AMD явно была лучшим вариантом. Например, EPYC 7502P предлагал 280 Гбит/с, а Xeon Platinum 8352V (Ice Lake) и Altra Q80-30 - 230 Гбит/с и 180 Гбит/с соответственно. 

Память создавала проблему в системе Intel, поскольку Xeon Platinum 8352V изначально поддерживает DDR4-2933 в отличие от поддержки DDR4-3200 в EPYC 7502P. Галлатин ожидает аналогичной производительности от EPYC 7502P, если чип Ice Lake будет соединен с эквивалентной памятью. Хотя Altra Q80-30 от Ampere поддерживает память DDR4-3200, скорость чипа ограничена 180 Гбит/с.

Тем не менее, Altra Q80-30 был ближайшим конкурентом EPYC 7502P с разгрузкой TLS. Система предлагала 240 Гбит/с, но Галлатин отметил низкую загрузку процессора и большое количество падений производительности, что могло быть проблемой, связанной с PCIe. После включения расширенных тегов система Altra Q80-30 выдала 320 Гбит/с, что всего на 60 Гбит/с ниже, чем система EPYC 7502P. По всей видимости, в системе Xeon Platinum 8352V опция упрощенного заказа PCIe была заблокирована, поэтому Галлатин не смог оценить производительность сетевого адаптера.

Хотя 400 Гбит/с звучит неплохо, у Netflix уже есть прототип на 800 Гбит/ с для тестирования. Галлатин не поделился спецификациями, но намекнул, что мы можем услышать об этом в следующем году.