Китайские технологические компании, ограниченные отсутствием доступа к десяткам тысяч высокопроизводительных графических процессоров для ИИ, сталкиваются с проблемами в продвижении своих инициатив. Постоянная нехватка подтолкнула компании к разработке инновационных методов обучения сложных моделей ИИ. Кай-Фу Ли, основатель и генеральный директор 01.ai, недавно рассказал, что его компания успешно обучила одну из своих продвинутых моделей, используя всего 2000 графических ускорителей при бюджете в 3 млн долларов.
"Мои друзья в Кремниевой долине поражены не только производительностью нашей модели, но и тем, что мы добились этого, потратив всего 3 млн долларов".
"Для сравнения, GPT-4 потребовал инвестиций в размере 80-100 млн долларов, а GPT-5, по слухам, обошелся OpenAi почти в 1 млрд долларов. Мы придерживаемся законов масштабирования, но при тщательном проектировании значительные результаты возможны и без столь огромных затрат".
Обширные ресурсы OpenAI для обучения своих моделей подчеркиваются сообщениями о том, что для GPT-3 она использовала около 10 000 графических чипов NVIDIA A100, а для более поздних версий, включая GPT-4, – еще больше. В отличие от них, 01.ai использовала 2000 GPU неустановленной марки.
Стратегический фокус 01.ai на оптимизации производительности моделей не ограничился выделением аппаратного обеспечения. Компания минимизировала узкие места в вычислениях, переключив процессы на задачи, ориентированные на память.