Компания Micron представила новейшую версию памяти с высокой пропускной способностью (HBM) для ускорителей искусственного интеллекта и высокопроизводительных вычислений (HPC). Ранее компания выпускала модули HBM2, но ее новая технология памяти настолько совершенная, что она перескочила через первое поколение HBM3 и назвала ее HBM3 Gen2. Micron утверждает, что ее пропускная способность составляет более 1,2 ТБ в секунду, что позволяет ей опередить своих конкурентов, SK Hynix и Samsung, в гонке за пропускную способность стековой памяти, используемой в видеокартах и процессорах для центров обработки данных.
В своем пресс-релизе компания утверждает, что ее память HBM3 Gen2 является самой быстрой и эффективной в мире. Micron отмечает, что ее стек объемом 24 ГБ с восемью слоями обеспечивает пропускную способность 1,2 ТБ/с при скорости вывода 9,2 ГТ/с (гигатрансфер в секунду), что на 50% быстрее, чем у конкурентов, предлагающих HBM3. Она также заявляет о 2,5-кратном улучшении производительности на ватт по сравнению с предложениями предыдущего поколения для памяти HBM. В целом, Micron заявляет, что ее новейшая технология является лучшей в отрасли по пропускной способности, эффективности и плотности.
По словам представителей компании Micron, секретным "ингредиентом" новых стеков HBM является технологический узел 1β (1-beta) DRAM, который позволяет уместить 24 Гбит DRAM с восемью слоями в существующие размеры HBM3 11 мм x 11 мм. Технически это позволяет 8-слойному стеку увеличить емкость с 16 ГБ и пропускную способность 819 ГБ/с на 1024-битной шине памяти до 24 ГБ и пропускной способности 1,2 ТБ/с на HBM3 Gen2 от Micron. Компания утверждает, что у нее также есть 12-слойный стек, который предложит емкость на 36 ГБ, и он появится в начале 2024 года.
Помимо того, что компания Micron рассказывает о преимуществах своей более быстрой памяти для обучения искусственного интеллекта, она отмечает, что ее эффективность позволяет снизить стоимость обслуживания центров обработки данных. В качестве примера компания утверждает, что в системе с 10 миллионами графических процессоров с HBM3 Gen 2 на борту каждые пять ватт сэкономленной энергии на стеке позволят сократить расходы на электроэнергию на 550 миллионов долларов в течение пяти лет.
Micron сообщила, что ее чипы HBM3 Gen 2 разработаны в США, произведены в Японии, а затем упакованы компанией TSMC на Тайване. Учитывая, что этот год искусственного интеллекта, компания подчеркивает преимущества этой технологии для генеративного ИИ и обучения больших языковых моделей (LLM). По словам компании, HBM3 Gen 2 позволяет сократить время обучения LLM на 30%, а также позволяет системам, оснащенным этой технологией, обрабатывать на >50% больше запросов в день.
Конечно, потребуется время, чтобы эти модули появились в реальных продуктах AMD и Nvidia. Например, в готовящейся к выпуску модели Instinct MI300 компании AMD используется восемь стеков HBM3 общим объемом 128 Гбайт памяти, то есть по 16 Гбайт на стек. Если бы у нее была эта память Micron, это число было бы 192 ГБ. По данным AnandTech, видеоускоритель Nvidia H100 использует HBM2e или HBM3, в зависимости от конфигурации, с общим объемом используемой памяти до 80 Гб на карту через шесть стеков. Этот ускоритель от Nvidia был выбран компанией OpenAI для обучения ее генеративного искусственного интеллекта ChatGPT.