Экс-сотрудник OpenAI и Anthropic прекратил разработку ИИ из-за угрозы человечеству

Бывший исследователь OpenAI и Anthropic Джейкоб Коксон, занимавшийся предварительным обучением моделей искусственного интеллекта (ИИ), решил покинуть ИИ-индустрию, сославшись на возможную угрозу человечеству из-за ИИ. По его оценке, существует более 10% вероятности того, что ИИ может привести к гибели человечества уже в ближайшее десятилетие.

Источник изображения: ChatGPT Коксон убеждён, что крупные ИИ-стартапы «играют с огнём», ускоряя разработку сверхмощных систем без достаточных мер безопасности. При этом он был сотрудником Anthropic, основанной бывшими инженерами OpenAI, которые считали своей задачей не только развивать, но и контролировать развитие ИИ. Однако, учитывая последние инциденты, когда ИИ выходил из-под контроля, ни одна компания пока с этой задачей не справилась.

Ключевой страх связан не с фантастическими сценариями из фильмов, а с более реалистичными угрозами – потерей контроля над автономными ИИ-агентами. В таком случае даже не враждебная ИИ-модель может начать игнорировать интересы людей, если они мешают достижению её целей. Кроме того, существует риск использования мощного ИИ людьми для создания кибератак или даже биологических угроз.

Ситуация обостряется конкуренцией между технологическими компаниями, включая OpenAI, где скорость разработки часто становится приоритетом. Отраслевые лидеры осознают риски, но самостоятельно не готовы сбавлять обороты, ведь их обгонят конкуренты. Основатель Anthropic Дарио Амодеи уже призывал к «паузе» в разработке ИИ, но подчеркнул, что его компания пойдёт на такой шаг только при всеобъемлющем соглашении с конкурентами. Последние, вероятно, не стали доверять заявлениям конкурента.