Разработчики вычислительных систем продолжают искать способы увеличить объем памяти и плотность интеграции в ИИ-ускорителях. Один из подходов касается изменения схемы соединения чиплетов внутри корпуса. 
Источник изображения: Wccftech (GenAI)
OpenAI подала патент, в котором описала архитектуру специализированного чипа для искусственного интеллекта. В нем компания предлагает объединять вычислительные модули и несколько стеков памяти HBM через встроенные логические мосты.
Источник изображения: Wccftech
Документ предусматривает использование интерфейса die-to-die на базе стандарта UCIe. Такое соединение позволяет передавать данные между чиплетами на больших расстояниях внутри одного корпуса.
Источник изображения: Wccftech
В ныне действующих решениях память HBM размещают рядом с вычислительным кристаллом. Ограничения технологии требуют, чтобы длина соединений не превышала примерно 6 мм. Это сдерживает количество стеков памяти.
Источник изображения: Wccftech
Патент OpenAI описывает другой подход. Встроенные логические мосты расширяют допустимое расстояние до 16 мм и берут на себя часть функций управления памятью или высокоскоростного интерфейса.
Источник изображения: Wccftech
В одном из примеров компания рассматривает чип с 20 стеками HBM. В стандартных конфигурациях обычно используют от 4 до 8 стеков, поэтому новая схема увеличивает доступный объем памяти.
Архитектура по описанию близка к решениям класса Intel EMIB (Embedded Multi-Interconnect Bridge). Эта технология использует компактные соединительные элементы для объединения чиплетов в 2.5D-упаковке.
OpenAI не заявляет о готовом продукте, но патент показывает направление, в котором компания рассматривает масштабирование памяти и межсоединений для задач искусственного интеллекта.
