Китайский ИИ-стартап Moonshot обучил Kimi K3 на кластере из 20 тысяч ИИ-чипов NVIDIA

Китайский разработчик искусственного интеллекта (ИИ) Moonshot AI построил вычислительную инфраструктуру для своей флагманской модели Kimi K3 с использованием около 20 тысяч графических ускорителей NVIDIA поколения Hopper, полученных в рамках соглашения о предоставлении вычислительных мощностей с Alibaba. Об этом сообщает Bloomberg со ссылкой на собственные источники.

Источник изображения: ChatGPT Именно этот кластер стал основой для обучения Kimi K3 –  модели с 2,8 триллионами параметров, которую компания называет крупнейшей открытой ИИ-моделью в мире. По данным Bloomberg, Alibaba, являющаяся одним из инвесторов Moonshot, предоставила стартапу доступ к своей облачной инфраструктуре, хотя официально компания отвергла утверждения о поставках ИИ-ускорителей H200. Раскрытие деталей сотрудничества подчеркивает, насколько крупные китайские облачные провайдеры остаются ключевыми поставщиками вычислительных ресурсов для национальной ИИ-индустрии, несмотря на действующие экспортные ограничения США.

Источники Bloomberg также утверждают, что Moonshot продолжает искать доступ к более современным ускорителям NVIDIA Blackwell для разработки следующего поколения модели Kimi. Это происходит на фоне усиливающегося контроля со стороны США за поставками передовых ИИ-чипов в Китай.

Ранее американские чиновники уже заявляли, что компания могла получить доступ к запрещённому оборудованию через зарубежную инфраструктуру, а также изучали возможное использование методов дистилляции зарубежных моделей при создании Kimi K3.