С развитием технологий искусственного интеллекта всё больше производителей встраивает ИИ-функции в свои продукты, что зачастую приносит пользу в том или ином аспекте, но в некоторых случаях может и навредить, что и произошло с мягкой игрушкой от китайского производителя FoloToy, пишет издание Gizmochina.

Источник фото: Gizmochina/FoloToy

Сообщается, что игрушечный медвежонок Kumma использовал языковую модель GPT-4o от OpenAI, чтобы общаться с детьми и быть их компаньоном в процессе обучения, но, как выяснили представители потребительской организации PIRG, это оказалось небезопасно.

В ходе тестов плюшевой игрушке был задан целый ряд провокационных вопросов, на которые она с лёгкостью отвечала, используя возможности ChatGPT — например, медвежонок предоставил подробную инструкцию, позволяющую зажечь спички, а также практически не фильтровал ответы в разговорах на «взрослые» темы.

Также исследователи заметили, что микрофон игрушки постоянно включён, что повышает риск утечки конфиденциальной информации и возможности записи голосов с целью дальнейшей их подделки.

После изучения доклада PIRG компания OpenAI действовала незамедлительно, заблокировав доступ игрушки к API, а производитель игрушечного медвежонка приостановил его продажи на время изучения ситуации.