Китайская компания Folotoy возобновила продажи своего плюшевого мишки с искусственным интеллектом «Kumma». Всего неделю назад производитель изъял игрушку из продажи после обнаружения серьёзных недостатков в безопасности. Folotoy теперь заверяет, что проблемы решены.

В заявлении, опубликованном на сервисе X, компания пояснила, что на прошлой неделе провела «тщательную проверку внутренней безопасности в масштабах всей компании». Модули безопасности были усилены, а модерация контента улучшена. Folotay подчеркивает, что была единственной компанией, которая заблаговременно приостановила продажи.

Возвращение на рынок произошло удивительно быстро, что заставляет задуматься о том, насколько значительными могут быть технические изменения в модели генеративного ИИ всего за семь дней. Решение о приостановке продаж было принято в связи с отчетом американской организации по защите прав потребителей Public Interest Research Group (PIRG).

Тестировщики обнаружили, что игрушка-медведь, когда её спрашивали, объясняла детям, где можно найти ножи или как зажигать спички. Компания Foltoy продолжает рекламировать игрушку на своём сайте, отмечая, что она создана на основе технологии GPT-4o» от OpenAI. Однако после того как об инцидентах стало известно, OpenAI отозвала доступ Foltoy к своему API.

Пока неясно, сняла ли OpenAI блокировку. Повторная активация после столь короткого срока за серьёзное нарушение была бы необычной. Также возможно, что Foltoy в фоновом режиме перешла на другую модель лицензирования или косвенно обращается к API, но пока не скорректировала свою маркетинговую стратегию. Официального подтверждения от OpenAI о лицензировании не поступало. Портал Gizmodo сообщает, что запросы к обеим компаниям пока остались без ответа.

Заверения производителя о том, что он теперь внедряет «улучшенные правила безопасности через облачную систему», ещё предстоит проверить на практике. Системы генеративного ИИ, как правило, допускают так называемые «джейлбрейки», даже со строгими фильтрами, если подсказки продуманы. Простое обновление программного обеспечения редко превращает чат-бота в гарантированно безопасного для ребёнка собеседника.