На прошлых выходных стартап Илона Маска xAI, занимающийся разработкой передовых технологий в области искусственного интеллекта, запустил в онлайн свою новую систему обучения ИИ — кластер Colossus 100K H100. По словам Маска, этот кластер является самой мощной системой обучения искусственного интеллекта на планете, и это только начало. В ближайшие месяцы планируется значительное увеличение мощности системы, что откроет новые горизонты в развитии ИИ и создании более продвинутых языковых моделей.
Илон Маск, основатель компании xAI, объявил в соцсети Х, что команда стартапа успешно запустила учебный кластер Colossus 100K H100 за 122 дня. Colossus является впечатляющей системой, оснащенной 100 000 графических процессоров NVIDIA Hopper H100, что делает ее самой мощной системой для обучения ИИ в мире на данный момент. По мнению Маска, это достижение стало возможным благодаря слаженной работе команды, партнеров и поставщиков, а также поддержке NVIDIA. Но самое интересное впереди: через несколько месяцев планируется удвоение мощностей до 200 000 графических процессоров, что ещё больше повысит производительность системы.
Colossus использует графические процессоры NVIDIA Hopper H100 AI текущего поколения, но скоро ожидается дополнение в виде новых чипов H200. Эти усовершенствованные графические процессоры предложат более быструю память HBM3E объемом до 141 ГБ, что значительно превосходит 80 ГБ HBM3, доступных в текущем поколении H100. Такая обновленная архитектура позволяет значительно улучшить производительность и скорость обработки данных, что является ключевым фактором для обучения более сложных моделей искусственного интеллекта.
Одной из главных целей запуска Colossus является создание более мощных языковых моделей, таких как Grok 2 и Grok 3. Первая версия, Grok 2, была обучена с использованием 15 000 графических процессоров, и её успех показал, насколько эффективными могут быть современные системы машинного обучения. С запуском Colossus, который обладает более чем 100 000 графических процессоров, возможности обучения выходят на совершенно новый уровень. Маск ранее заявлял, что для разработки и обучения Grok 3 потребуется именно такая конфигурация, и теперь эта цель уже достигнута, что подчеркивает быстрый темп развития технологий в xAI.
Запуск новой системы Colossus также знаменует важный этап в конкурентной гонке за лидерство в области искусственного интеллекта. Благодаря тесному сотрудничеству с NVIDIA и использованием самых современных графических процессоров, xAI имеет все шансы стать ведущей компанией в этой области. Увеличение числа графических процессоров до 200 000 в ближайшие месяцы значительно расширит потенциал системы и предоставит ещё больше возможностей для обучения продвинутых моделей ИИ.
Одной из ключевых особенностей архитектуры Colossus является ее способность быстро масштабироваться и адаптироваться под новые задачи. Это особенно важно в свете быстро развивающихся технологий искусственного интеллекта, которые требуют все больше вычислительных мощностей и памяти для эффективного обучения и работы. Маск и его команда xAI видят в этом большой потенциал для дальнейшего развития.
