Рост агентных систем меняет требования к инфраструктуре. Обычные подходы, построенные вокруг одного типа ускорителей, начинают давать сбои при сложных сценариях. Intel и SambaNova готовят к выпуску гетерогенную платформу для агентного ИИ. Решение появится уже во второй половине текущего года и рассчитано на развертывание в стандартных дата-центрах с воздушным охлаждением.

Изображение - ChatGPT

Архитектура распределяет задачи между разными типами оборудования. GPU обрабатывают этап предзаполнения и формируют кэш на основе длинных запросов. Ускорители RDU вместе с Xeon 6 отвечают за декодирование и генерацию токенов. Центральную роль берет на себя процессор, который управляет агентами, вызывает инструменты и работает с API. Глава SambaNova Родриго Лян отметил, что компания предлагает готовую схему развертывания. Он также указал на важность экосистемы x86, под которую уже адаптированы инструменты разработки.

Представитель Intel Кеворк Кечичян подчеркнул, что будущие нагрузки требуют сочетания разных вычислительных подходов. По данным SambaNova, Xeon 6 показывает более высокую скорость компиляции и лучшую производительность при работе с векторными базами по сравнению с альтернативами. Глава Daytona Иван Буразин добавил, что рост генерации кода увеличивает потребность в изолированных средах для его выполнения.