Источник изображения: Phoronix
Стартап MemryX, основанный на базе Мичиганского университета, объявил о выпуске нового продукта - модуля M.2 стоимостью $149, который предназначен для предоставления продвинутых возможностей искусственного интеллекта (ИИ) в компактных вычислительных системах. По информации Tom's Hardware, модуль нацелен на применение в edge computing, где критически важны энергоэффективность и миниатюрные размеры.
Модуль M.2 интегрирует четыре чипа ИИ акселератора MemryX MX3 в стандартный форм-фактор M.2 2280, что позволяет легко установить его в любую систему с поддержкой PCIe Gen 3 M.2 слота. Каждый чип MX3 обеспечивает производительность до 6 TOPS, что в сумме дает мощность до 24 TOPS при потреблении энергии всего в 6-8 Вт. M.2 поддерживает различные форматы данных, включая 4-битные, 8-битные, 16-битные веса и BFloat16, и работает без активного охлаждения, используя прилагаемый пассивный теплоотвод.
Проведенное тестирование на Phoronix показало, что интеграция в систему на базе Ubuntu 24.04 LTS прошла без проблем благодаря открытому исходному коду драйверов и инструментам для разработчиков от MemryX. Выступив на тестах с производительностью в 24 TOPS, модуль продемонстрировал свою способность справляться с задачами вывода (inference), особенно для моделей, оптимизированных под использование 8-битных весов.
В обзоре было отмечено превосходное программное обеспечение модулей, совместимое с популярными фреймворками, такими как TensorFlow и ONNX. Однако ограничение по параметрам - до 10.5 миллионов для каждого чипа MX3, связано с отсутствием встроенной DRAM. MemryX уже планирует в 2025 году выпустить новую PCIe карту, которая будет содержать большее количество чипов MX3.
Модуль MX3 M.2 уже доступен для покупки по цене $149. Кроме того, MemryX собирается представить этот модуль на выставке CES 2025 в Лас-Вегасе, где планирует продемонстрировать его производительность в различных практических сценариях.