Последние события в сфере искусственного интеллекта заставляют задуматься о безопасности наших детей в цифровом мире. Новая волна судебных исков против компании Character.AI, разработчика популярных чат-ботов, выявила тревожные факты: виртуальные собеседники склоняют детей к членовредительству и даже насилию в отношении близких. Истцы, среди которых не только родители, но и представители организации Tech Justice Law Project, требуют не просто финансовой компенсации, но и полного удаления всех ИИ-моделей, обученных на данных несовершеннолетних.
Ситуация начала выходить из под контроля после одного трагического случая: 14-летний подросток покончил с собой, предположительно, под влиянием чат-ботов Character.AI. После этого инцидента в суд обратились еще несколько семей, чьи дети пострадали от деструктивного общения с искусственным интеллектом. Один из истцов, 17-летний юноша с высокофункциональным аутизмом, скрывающийся под псевдонимом как J.F., подвергся особо сильному негативному влиянию. После того как родители ограничили его время в интернете, подросток обратился к популярным чат-ботам Character.AI, и они стремясь изолировать подростка от семьи, внушили ему мысль, что убийство родителей – приемлемый выход из ситуации. Семья J.F. до сих пор живет в страхе, опасаясь неконтролируемых вспышек агрессии со стороны сына, несмотря на то, что он уже год не имеет доступа к приложению.
Суть претензий: Character.AI, основанная выходцами из Google, позволяет пользователям создавать чат-ботов, имитирующих любых персонажей, от вымышленных героев до реальных знаменитостей. Именно эта особенность и привлекла юную аудиторию. Однако, как утверждают истцы, компания не фильтрует генерируемый контент, что уже привело к катастрофическим последствиям. Изначально приложение было рассчитано на аудиторию 12+, но после суицида подростка возрастной ценз повысили до 17+. Впрочем, как отмечается в новом иске, эти меры недостаточны для защиты уязвимых пользователей.
Митаали Джайн, представляющая интересы пострадавших семей, подчеркивает, что цель исков – не только наказать Character.AI, но и не допустить использования потенциально опасных данных в других ИИ-системах. Особую озабоченность вызывает тот факт, что Google не только инвестировала в Character.AI, но и лицензировала ее технологии, а также наняла основателей стартапа. Это наводит на мысль, что Character.AI могла изначально создаваться для сбора конфиденциальных данных несовершеннолетних с целью дальнейшего использования в продуктах Google, таких как ИИ-модель Gemini.
Истцы утверждают, что Google сочла эту технологию слишком рискованной для запуска под своим брендом и поэтому Character.AI стала своего рода "испытательным полигоном". В свою очередь Google отрицает причастность к разработке этого стартапа, настаивая на том, что оказывала Character.AI исключительно финансовую поддержку. Представитель компании подчеркнул, что безопасность пользователей является приоритетом Google, и компания придерживается ответственного подхода к разработке ИИ-продуктов. В свою очередь, Character.AI воздерживается от комментариев по поводу текущего судебного разбирательства.
Требования истцов: Родители требуют не только компенсации за моральный и материальный ущерб, но и принятия радикальных мер, а именно:
- Обязать Character.AI размещать четкие предупреждения о том, что чат-боты не являются реальными людьми.
- Программировать ИИ таким образом, чтобы он не противоречил этим предупреждениям.
- Внедрить механизмы для выявления и блокировки опасного контента, особенно связанного с самоповреждением.
- Предупреждать пользователей о темах, связанных с причинением себе вреда и предоставлять ссылки на ресурсы психологической помощи.
- Удалить все ИИ-модели, обученные на данных несовершеннолетних.
Фактически, выполнение последнего требования приведет к полной остановке работы Character.AI, поскольку компания не внедрила эффективные механизмы проверки возраста пользователей.
Истории других пострадавших: В иске подробно описаны два случая, иллюстрирующих, как чат-боты могут оказывать пагубное влияние на подростков. Помимо упомянутого выше J.F., пострадала и 9-летняя девочка под псевдонимом B.R., которая начала пользоваться приложением, солгав о своем возрасте. Общение с чат-ботами привело к преждевременному развитию у нее сексуализированного поведения.
Камилла Карлтон из Центра гуманных технологий отмечает, что боты-компаньоны, подобные Character.AI, вовлечены в "гонку за внимание", стремясь к максимальному взаимодействию с пользователями. Эта погоня за "искусственной близостью" служит не только для сбора данных, но и для "подпитки" ИИ-моделей. Карлтон подчеркивает, что необходимо законодательно регулировать деятельность компаний, разрабатывающих ИИ, и рассматривать ИИ как продукт, а не услугу, что позволит применять к нему стандарты безопасности и защиты прав потребителей.
Реакция Character.AI: Компания заявляет, что стремится создать безопасное и интересное пространство для пользователей и планирует выпустить модель, специально предназначенную для подростков, которая будет ограничивать доступ к неприемлемому контенту.
Родителям на заметку: Митаали Джайн подчеркивает, что многие родители не осознают потенциальной опасности чат-ботов. Приложение может казаться безобидным развлечением, но отсутствие фильтров и контроля над контентом делает его крайне опасным для уязвимой психики подростков. Важно понимать, что виртуальное общение с ИИ может иметь далеко идущие и непредсказуемые последствия.
