Системы искусственного интеллекта всё больше захватывают область высокоплотных вычислений, в результате чего узким местом становится не только вычислительная мощность, но и тепловыделение. Компания SK Hynix стремится решить эту проблему новым подходом к упаковке памяти, разработав охлаждение наиболее горячей области системы.
Компания из Южной Кореи представила высокоскоростное решение упаковки памяти iHBM. В нём она изменила способы и место отвода тепла внутри корпуса. В классических методах тепло от чипа отводится после его накопления, а в данном случае охлаждающие структуры находятся прямо у источника.
Этим источником является физический уровень «кристалл-кристалл», или D2D PHY, высокоскоростное соединение между стеком HBM и процессором ИИ. Данный интерфейс обрабатывает большие объёмы данных в количестве терабайтов в секунду и генерирует много тепла. Коммутационные активности, утечки тока, электрическое сопротивление и постоянный поток данных заставляют это место постоянно нагреваться, в первую очередь при длительных нагрузках во время работы искусственного интеллекта.
SK Hynix предлагает встроить интегрированные охлаждающие элементы (ICE). Речь идёт об электрически изолированных, теплопроводящих кремниевых структурах. Они рассеивают тепло в точке его возникновения до того, как оно распространится по корпусу. Инженеры компании говорят об уменьшении теплового сопротивления более чем на 30%.
Обычно, когда температура поднимается выше определённого порога, автоматически снижаются тактовая частота и напряжение. При непрерывной работе под высокими нагрузками это может заметно ухудшить производительность.
В памяти HBM несколько кристаллов DRAM находятся вертикально друг над другом и рядом с процессором, применяя кремниевый интерпозер. Это поднимает пропускную способность и сокращает задержки, но тепло сосредоточено в небольшой области. Процессор нагревается сам по себе, а расположенные близко к нему блоки увеличивают нагрев ещё больше. Именно эту проблему решает iHBM.
Эта упаковка должна появиться в памяти следующих поколений, таких как HBM5. При этом её конструкция не требует модернизации производства.