Компания Qualcomm анонсировала ускорители вычислений и серверные стойки на базе чипов AI200 и AI250 с жидкостным охлаждением. Решения разработаны с акцентом на объёме памяти и эффективности передачи данных, пишет VideoCardz. Ускоритель с чипом AI200 может быть оснащён 768 ГБ памяти LPDDR5 для работы с большими мультимодальными языковыми моделями без постоянной передачи данных с карты и на карту.
Источник изображения: Qualcomm
В Qualcomm AI250 вычислительный чип располагается вблизи памяти (Near-Memory Computing, NMC), что увеличивает эффективную пропускную способность во время логических выводов, где рабочие нагрузки часто приостанавливаются из-за многократного доступа к кэшированным парам «ключ-значение» (англ. key-value). Qualcomm заявляет, что этот подход обеспечивает более чем десятикратное увеличение эффективной пропускной способности памяти при одновременном снижении энергопотребления.
Для масштабирования в пределах стойки используется PCIe, а в пределах кластера — Ethernet. Полная стойка потребляет 160 кВт, что ставит её в один ряд с существующими решениями для логических выводов от других производителей. Выпуск планируется поэтапно: AI200 — в 2026 году, а AI250 — в 2027 году. Первые заказчики уже есть, включая компании, которые планируют развернуть ускорители Qualcomm общей мощностью до 200 МВт.
Для сравнения, AMD Instinct MI350X предлагает 288 ГБ памяти HBM3e и пропускную способность 8 ТБ/с. Преемник серии MI400 будет иметь до 432 ГБ памяти. Конфигурации NVIDIA класса B200 предоставляют около 180 ГБ памяти HBM3e на каждый графический процессор. Intel Gaudi 3 предоставляет 128 ГБ памяти HBM2e. Qualcomm делает акцент на общем объёме встроенной памяти, а не её пропускной способности, оснащая свои решения LPDDR5 памятью. Intel тоже готовит ускорители с LPDDR5 памятью в семействе Crescent Island на совершенно новой архитектуре Xe3P, но пока известно о вариантах с объёмом памяти до 160 ГБ.
