ChatGPT внезапно, начал разговаривать голосом пользователя во время тестирования

В четверг компания OpenAI представила "системную карту" своей последней модели искусственного интеллекта GPT-4o, в которой описаны ограничения модели и меры безопасности, принятые при ее разработке. Среди откровений в документе упоминается любопытный инцидент, произошедший во время тестирования, когда расширенный голосовой режим модели непреднамеренно имитировал голос пользователя без его согласия. Несмотря на то что OpenAI уже ввела меры предосторожности для предотвращения подобных случаев, этот эпизод подчеркивает растущие проблемы в обеспечении безопасности разработки ИИ-чатботов, особенно тех, которые способны имитировать голос при минимальном аудиовводе.

Расширенный голосовой режим – это функция в ChatGPT, которая позволяет осуществлять разговорное взаимодействие между пользователями и ИИ. В разделе системной карты GPT-4o, озаглавленном "Несанкционированная генерация голоса", OpenAI рассказывает об эпизоде, когда модель неожиданно имитировала голос пользователя из-за шумного ввода. Во время тестирования компания также наблюдала редкие случаи, когда модель непреднамеренно генерировала вывод, имитирующий голос пользователя.

Один из особенно тревожных примеров, которым поделились в OpenAI, – модель ИИ резко кричит "Нет!", а затем продолжает предложение голосом, до жути похожим на голос человека, нанятого для проведения тестирования. Мысль о том, что ИИ внезапно перенимает ваш голос в середине разговора, конечно, нервирует. К счастью, OpenAI создала механизмы для предотвращения подобных ситуаций, утверждая, что такие случаи были редкими даже до того, как проблема была полностью решена.