Глобальная гонка за лидерство в области искусственного интеллекта разворачивается с невиданным размахом, требуя огромных вычислительных мощностей и потребляя гигаватты энергии. Амбиции в этой сфере проявляют не только отдельные известные миллиардеры, но и целые корпорации, вкладывающие колоссальные средства в разработку и развертывание все более мощных ИИ-систем. Ожидается, что в ближайшем будущем будут запущены проекты, превосходящие все существующие по своим масштабам.
Уже в следующем году стартует целый ряд грандиозных вычислительных проектов, знаменующих собой переход индустрии искусственного интеллекта в новую, третью фазу развития. Одним из наиболее амбициозных и публично заявленных планов является намерение компании xAI расширить мощности своего суперкомпьютера Colossus AI с внушительных 100 тысяч графических ускорителей до совершенно астрономической цифры – одного миллиона GPU.
План Илона Маска, на первый взгляд, граничит с абсурдом. Даже если представить себе возможность приобретения необходимого количества графических процессоров для модернизации суперкомпьютера Colossus AI, потребности в электроэнергии и охлаждении, не говоря уже о требуемых капиталовложениях, будут просто невероятными.
При текущей рыночной стоимости одного графического процессора в диапазоне от 30 до 40 тысяч долларов, закупка дополнительных 900 тысяч единиц обойдется xAI в сумму от 27 до 36 миллиардов долларов. И даже при условии получения значительной оптовой скидки, финальная стоимость в любом случае останется непомерно высокой, вне зависимости от того, будет ли это развертывание растянуто на несколько лет. Более того, не стоит забывать и о затратах на возведение подходящих зданий, создание эффективных систем охлаждения и прокладку необходимой электрической инфраструктуры для обеспечения работы этого огромного парка ускорителей.
Если говорить о потреблении энергии, то, в зависимости от конкретного поколения используемых xAI ускорителей, только сами GPU-узлы будут нуждаться в генерации от 1,2 до 1,5 гигаватт электроэнергии. Это превышает мощность стандартного атомного реактора, и речь идет именно о крупных реакторах. И вновь стоит подчеркнуть, что эти расчеты касаются исключительно вычислительных мощностей.
Первой реакцией на такие цифры может стать недоумение и мысль о том, что это всего лишь импульсивное заявление эксцентричного миллиардера, которое было ошибочно принято за истину и растиражировано местными деловыми кругами. Однако, если проанализировать действия конкурентов, масштабы проекта Colossus перестают выглядеть столь фантастически.
В ту же неделю, когда Торгово-промышленная палата Мемфиса обнародовала информацию о предполагаемом расширении xAI, компания Meta*, являющаяся одновременно разработчиком ИИ-моделей и конкурентом социальной сети X, объявила о строительстве собственного масштабного комплекса дата-центров. Новый вычислительный объект, запланированный к возведению в округе Ричленд, штат Луизиана, займет площадь почти в 400 тысяч квадратных метров, а его стоимость оценивается в 10 миллиардов долларов.
Meta* пока не разглашает точное количество ускорителей, которые будут установлены в этом центре, однако генеральный директор компании, Марк Цукерберг, уже заявил о планах развернуть около 600 тысяч графических процессоров только в текущем году. Для понимания масштаба, аналитики считают, что это сопоставимо с общим объемом поставок GPU класса H100 от Nvidia за весь 2023 год.
По имеющимся данным, строительство этого объекта, скорее всего, будет осуществляться поэтапно в течение нескольких ближайших лет, и он будет отличаться колоссальным энергопотреблением.
Для сравнения, стандартный кампус облачных дата-центров, состоящий из нескольких зданий, обычно имеет номинальную мощность около 50 мегаватт. Учитывая, что ограничения в энергоснабжении уже создают трудности для операторов дата-центров в США, можно было бы предположить, что это станет проблемой для всех этих компаний, одержимых искусственным интеллектом. Однако, вместо этого, они просто инвестируют в строительство собственных электрогенерирующих мощностей.
Так, для обеспечения энергоснабжения своего кампуса в Луизиане, Meta* заключила партнерское соглашение с компанией Entergy на строительство трех газовых турбин, суммарная мощность которых превысит 2,2 гигаватта.
Пока неизвестно, будет ли этот проект реализован в полном объеме. Вполне вероятно, что потенциальный "пузырь" на рынке искусственного интеллекта может внести коррективы в эти планы, если, конечно, текущую ситуацию можно назвать "пузырем" или новой финансовой пирамидой. Этот вопрос оставим для обсуждения в комментариях.
В любом случае, на фоне таких внушительных цифр, идея строительства собственной электростанции, сопоставимой по мощности с атомной, уже не выглядит столь экстравагантной. Более того, уверенность Meta* в дальнейшем росте своих энергетических потребностей настолько велика, что компания начала поиск поставщиков, способных обеспечить ее от одного до четырех гигаватт атомной энергии к началу 2030-х годов.
Эта своеобразная "лихорадка искусственного интеллекта", охватившая технологических гигантов, привела к своего рода переосмыслению роли атомной энергетики. Облачные провайдеры не только финансируют восстановление выведенных из эксплуатации реакторов, но и, как в случае с новым дата-центром AWS Cumulus, размещают свои вычислительные мощности непосредственно вблизи источников энергии.
Говоря о крупных игроках, стоит отметить, что не только Meta* и xAI демонстрируют впечатляющие амбиции. Компания Amazon, изначально известный как онлайн-ритейлер, а теперь и крупный облачный провайдер, на прошедшей конференции re:Invent представила целый ряд новых продуктов, систем и моделей в области искусственного интеллекта. Среди них – суперкомпьютер, разработанный в сотрудничестве с компанией Anthropic, использующий "сотни тысяч" собственных ускорителей Trainium2, энергопотребление которых, очевидно, также будет весьма внушающим.
Ранее, летом текущего года, компания Oracle анонсировала свой "зеттамасштабный" суперкомпьютер, который, благодаря использованию 4-битной точности и разреженности данных, сможет достигать пиковой производительности в 2,4 зеттафлопс.
Хотя реальная производительность в задачах обучения будет ближе к 459 экзафлопс при использовании наиболее распространенной сегодня точности FP/BF16, для ее достижения потребуется значительное количество графических процессоров – 131 072 единицы. Это, конечно, не миллион, но все равно является весьма внушительным показателем, особенно в сравнении с кластерами, развертываемыми такими компаниями, как CoreWeave.
Примеров можно приводить ещё огромное множество, но суть, думаю, ясна. Похоже, что ажиотаж вокруг генеративного искусственного интеллекта не просто меняет наше представление о масштабировании вычислительных мощностей. В определенном смысле, наблюдаемая мобилизация капитала в сфере искусственного интеллекта напоминает космическую гонку между США и Россией, но теперь для частных компаний в роли основного конкурента выступает Китай.
Огромное количество технических сложностей, связанных с отправкой человека на орбиту и, тем более, на Луну, стимулировало ученых и инженеров к поиску инновационных решений и развитию технологий, которые в конечном итоге принесли пользу всему человечеству.
И хотя в этой новой гонке присутствует определенный националистический аспект, основными движущими силами инвестиций являются крупнейшие и наиболее влиятельные корпорации мира.
Вполне вероятно, что в этой новой гонке вооружений в области искусственного интеллекта мы увидим аналогичный сценарий, когда ограничения, связанные с энергоснабжением, охлаждением и экономическими факторами, будут стимулировать инвестиции в такие области, как атомная энергетика и экологически чистые вычисления. И происходить это будет не из альтруистических побуждений, а потому, что это является ключевым фактором для победы в конкурентной борьбе и получения прибыли.
*Деятельность этой организации запрещена на территории Российской Федерации, потому что она признана экстремистской.