По словам эксперта по безопасности Яэль Тауман Калаи, даже сотрудники Anthropic, OpenAI и Google опасаются быстрого развития ИИ. Они глубоко обеспокоены тем, что «ИИ небезопасен».

Эти и другие опасения сейчас поднимаются в письме, подписанном сотнями высокопоставленных отраслевых экспертов и политиков, а также многочисленными знаменитостями. Так называемая «Декларация о сверхинтеллекте» призывает к запрету — хотя бы временному — на дальнейшее развитие такого сверх-ИИ.

Этот запрет следует снять только тогда, когда, с одной стороны, будет достигнут «научный консенсус о том, что это можно сделать безопасно и проверяемо». Более того, для продолжения развития сверх-ИИ в будущем необходима мощная общественная поддержка.

Однако потенциальное влияние письма обусловлено не столько требованиями, сколько авторитетом его подписавших. К ним присоединились пионер искусственного интеллекта и лауреат Нобелевской премии Джеффри Хинтон, Йошуа Бенджио и Стюарт Рассел (эксперты в области ИИ).

Декларацию также подписали другие лауреаты Нобелевской премии, такие как Беатрис Фин, Фрэнк Вильчек, Джон К. Мазер и Дэрон Асемоглу. Соучредитель Apple Стив Возняк, основатель Virgin Ричард Брэнсон, а также многие политики в области безопасности и представители бизнеса тоже выразили свою позицию, поставив свои подписи. Принц Гарри, например, заявил, что ИИ должен служить человечеству, а не заменять его. Важно не то, насколько быстро идёт развитие, а насколько разумно им управляют.

В преамбуле к декларации также говорится, что сверх-ИИ, который, по прогнозам компаний, создающих искусственный интеллект, появится в течение следующих десяти лет, вызывает опасения, начиная с «экономической избыточности и лишения человека прав и возможностей, потери свободы, гражданских свобод, достоинства и контроля, рисков для национальной безопасности и даже опасений по поводу потенциального вымирания человечества».

На сегодняшний день декларацию, подготовленную организацией Future of Life Institute, занимающейся вопросами безопасности в сфере ИИ, подписали почти 3000 человек. Однако это письмо — не первое, призывающее к замедлению разработки ИИ или ужесточению регулирования. Ещё в 2023 году несколько лидеров в области ИИ, включая генеральных директоров OpenAI и Anthropic Сэма Альтмана и Дарио Амодеи, призвали политиков принять меры по борьбе с риском вымирания человечества из-за ИИ. Также в 2023 году 33 000 подписавших, включая Илона Маска, призвали к шестимесячной паузе в экспериментах с ИИ.