Йошуа Бенджио, один из пионеров глубокого обучения и лауреат Тьюринговской премии, начал новый проект. Он собрал команду для создания систем ИИ, не нацеленных на выполнение задач, а предназначенных для анализа и осмысления окружающего мира.
Новая организация LawZero, основанная Бенджио, сосредоточится на разработке так называемого "ИИ-ученого" — системы, которая наблюдает за окружающим миром, строит теории и отвечает на вопросы, но не принимает решений и не действует самостоятельно. Такой подход, по мнению Бенджио, необходим для минимизации рисков, связанных с развитием автономных ИИ-агентов.
LawZero зарегистрирована в Монреале и действует в партнерстве с институтом Mila-Quebec, где Бенджио также руководит научной деятельностью. Стартовое финансирование в размере $30 млн поступило от Open Philanthropy, Future of Life Institute, Schmidt Sciences и других доноров.
Проект строится вокруг недавно опубликованной Бенджио концепции — 58-страничного описания ИИ-системы, которая способна выстраивать причинно-следственные связи и формировать научные гипотезы. Ключевые компоненты — это "модель мира", обрабатывающая наблюдаемые данные, и "механизм вывода", отвечающий на вопросы.
Бенджио подчеркивает, что система не обладает возможностью действовать в реальном мире. Она не стремится к целям и не участвует в принятии решений, что позволяет избежать типичных проблем агентных ИИ, таких как самозащита, уход от первоначальной задачи или манипулятивное поведение.
В прикладном плане ИИ-ученого предлагают использовать в трех направлениях. Первое — оценка и контроль действий других ИИ-агентов с возможностью блокировки опасных сценариев. Второе — помощь в научных исследованиях: от биологии до химии и материаловедения. Третье — обеспечение безопасности при разработке продвинутых ИИ-систем, включая ИИ человеческого уровня.
Создание LawZero стало ответом Бенджио на ускоренное развитие AGI в частных лабораториях. После появления ChatGPT он пересмотрел свое мнение о темпах прогресса и заявил, что сосредоточит оставшиеся годы карьеры на снижении технологических рисков.
Предыдущий опыт Бенджио в бизнесе — Element AI — завершился неудачей. Несмотря на ранний успех и $260 млн инвестиций, компанию в 2020 году продали за $230 млн. По мнению наблюдателей, разрыв между амбициями и практическими результатами стал одной из причин провала.
На этот раз Бенджио выбрал иную модель — некоммерческую и научно-ориентированную. Однако некоторые пользователи сети уже выразили сомнения: они вспоминают, что и OpenAI тоже начиналась как некоммерческая структура.
LawZero привлекла интерес, но и вызвала осторожность. Проект явно претендует на участие в формировании новых стандартов безопасности в ИИ, но его реальное влияние можно будет оценить только спустя годы работы.
