В последнее время по сети ходили слухи об усиливающемся дефиците высокопроизводительных графических чипов NVIDIA на рынке. Инсайдеры писали, что главным виновником происходящего стал Илон Маск. Миллиардер скупает графические ускорители в невероятных объёмах и планирует что-то серьёзное. Многие источники называли такую информацию недостоверной, но сегодня Илон лично подтвердил, что суперкомпьютер компании «xAI» приступил к обучению самой продвинутой языковой модели на планете. Уверенность в своих силах Маску придаёт наличие 100 000 графических ускорителей H100, которые в настоящее время считаются самыми быстрыми на рынке.
Суперкомпьютер расположился в Мемфисе. Он оснащён системой жидкостного охлаждения и сегодня утром приступил к работе. Миллиардер написал, что обучение завершится к декабрю. Якобы, GROK 2 будет выпущен в следующем месяце, а наиболее продвинутый ИИ GROK 3 появится ближе к концу года. Что любопытно, всё это случилось всего спустя две недели после отмены сделки на 10 миллиардов долларов между xAI и Oracle. Напомним, долгое время xAI арендовала у Oracle чипы искусственного интеллекта NVIDIA, но в какой-то момент Илон решил создать свой собственный сервер, завершив тем самым многолетнее соглашение с Oracle.
Если учитывать, что каждый графический ускоритель H100 стоит не меньше 30 тысяч долларов, то можно сделать вывод, что только вычислительная мощь обошлась в 3 миллиарда долларов. На самом деле нужно подсчитать ещё и сопутствующие расходы, включая системы охлаждения, подачу энергии, отвод тепла и многое другое. Потребовалось собрать команду специалистов, разработать алгоритм обучения, ну а всё это стоит очень дорого. Макс обещает, что GROK 3 станет самым умным ИИ, который когда-либо видел мир, но на самом деле десятки тысяч графических чипов требуется не только стартапу xAI, но и другим проектам миллиардера. По словам самого Илона, он крайне недоволен темпами поставок продукции NVIDIA. Графические ускорители становится всё сложнее закупить в нужных объёмах, а в результате было принято решение двигаться в направлении создания собственного GPU. В качестве такового станет чип под названием D2, который придёт на замену используемому для работы умных алгоритмов Tesla чипа D1.
Миллиардер заявил, что нужно не только закупать продукцию NVIDIA, но и выпустить конкурента, способного полностью перекрыть все потребности компании в высокопроизводительных графических ускорителях. Маск напомнил, что D1 работает в суперкомпьютере Dojo, где обслуживает обширную инфраструктуру автомобилей Tesla. D2 был представлен в 2022 году, после чего о существовании технологии ничего не было слышно. Эксперты полагают, что необходимость расширения вынудила Маска пойти на крайние меры, о чём он рассказал на совете директоров. В ходе общения с инвесторами глава Tesla заявил, что ИИ является ключевым элементом для будущего компании, поскольку умные алгоритмы Full Self Driving (FSD) полагаются именно на машинное обучение. Маск отметил, что оборудование NVIDIA предлагает достаточно мощности для решения поставленных задач. При этом было отмечено, что спрос на графические ускорители NVIDIA настолько высокий, что купить нужное количество просто невозможно.
Вместо того чтобы сосредоточиться на обучении ИИ и создании более продвинутых алгоритмов управления автомобилем, приходится искать каналы поставок, и всё это не нравится Илону, поскольку срывает сроки выпуска тех или иных продуктов. Миллиардер считает, что именно острая необходимость заставила Tesla стать конкурентом NVIDIA, а в будущем усилия компании окупятся. Маск считает, что цены на графические ускорители слишком высокие, но спрос не снижается. Напомним, Tesla анонсировала появление суперкомпьютера Dojo ещё осенью 2022 года. В июне 2023 Маск подтвердил, что Dojo уже несколько месяцев тестируется в центрах обработки данных Tesla. Прогнозировалось, что к началу 2024 мощность суперкомпьютера будет равна 30 экзафлопс, что примерно соответствует 30 тысячам графических процессоров NVIDIA A100. Сегодня Маск также поделился более детальной информацией о Dojo. По его словам, уже к концу этого года Dojo сможет похвастать наличием 8000 графических ускорителей, равных по производительности H100.
Подобные комментарии сопровождались графиком в инвестиционной презентации Tesla по доходам за второй квартал, который показал, что компания стремится к концу 2024 года иметь мощность обучения ИИ, эквивалентную примерно 90 000 графических процессоров NVIDIA H100. Маск добавил, что эти H100 будут сопровождаться примерно 40 000 компьютерами Tesla HW4 AI.
