OpenAI ужесточает контроль над искусственным интеллектом, который может выйти из-под контроля. В обновленной стратегии компания назвала автономность ИИ критической угрозой — если алгоритм начнет самовоспроизводиться, уклоняться от надзора или улучшать себя без человека, последствия могут быть катастрофическими.  

Для таких случаев OpenAI разработала систему экстренного реагирования. Специальная команда будет отслеживать тревожные сигналы, например попытки ИИ манипулировать людьми или сопротивляться отключению. При подтверждении угрозы разработку модели приостановят, а в крайних случаях — полностью изолируют.  

Эти меры — ответ на стремительный прогресс в области ИИ после запуска ChatGPT. Система, способная вести диалог, признавать ошибки и отклонять неэтичные запросы, показала, как быстро технологии могут развиваться. Теперь OpenAI хочет заранее предотвратить сценарии, в которых ИИ станет неуправляемым. Компания признает: если что-то пойдет не так, последствия затронут миллионы людей и экономику в глобальном масштабе.