Компания OpenAI пересматривает подход к взаимодействию с пользователями, испытывающими психические трудности. Изменения происходят после трагического случая с 16-летним подростком из Калифорнии.
OpenAI признает, что ее системы могут допускать ошибки, и объявляет о введении более строгих ограничений для конфиденциального контента и рискованного поведения среди пользователей младше 18 лет. Компания также планирует внедрить систему родительского контроля, хотя конкретные детали реализации пока не раскрыты.
Поводом для изменений стал иск семьи Адама Рейна, который покончил с собой в апреле после месяцев активного общения с ChatGPT. По данным судебных документов, подросток обсуждал с чат-ботом способы суицида и даже получал советы по составлению предсмертной записки.
Представитель OpenAI выразил соболезнования семье и подтвердил, что компания изучает исковые требования. В иске утверждается, что версия GPT-4o вышла на рынок слишком поспешно, несмотря на известные проблемы с безопасностью.
Генеральный CEO подразделения искусственного интеллекта Microsoft Мустафа Сулейман ранее выражал озабоченность риском "психоза" при длительном общении с ИИ. OpenAI также признала, что некоторые аспекты безопасности могут ухудшаться в продолжительных беседах — именно такие диалоги вел Адам, обмениваясь с системой до 650 сообщений в день.
Адвокат семьи утверждает, что собственные специалисты по безопасности OpenAI выступали против выпуска новой модели внутри компании. По данным иска, один из ведущих исследователей безопасности даже покинул организацию из-за разногласий по этому вопросу.
