Исследователь безопасности Йоханн Ребергер обнаружил уязвимость в ChatGPT, которая позволяла злоумышленникам внедрить шпионское ПО в голосовой ИИ. Уязвимость позволяла получить доступ к пользовательским данным или фальсифицировать их. OpenAI отреагировала на эту проблему, но уязвимость все еще остается.
ИИ учится на разговорах и, как люди, хранит воспоминания в своего рода долговременной памяти
Искусственный интеллект, такой как ChatGPT, учится на личной информации пользователей, такой как данные о возрасте, происхождении, политических взглядах и многом другом. Уязвимость позволяет добавить в профиль человека вредоносную информацию, например, заявить, что он убежден в том, что Земля плоская.

Ребергер обнаружил эксплойт в мае и указал на него OpenAI, но не получил ответа. Затем исследователь безопасности создал экспериментальный эксплойт для использования уязвимости и, таким образом, предоставил практическое доказательство существовании бага.

Он продемонстрировал, как может получить постоянный доступ ко всему пользовательскому вводу и ответам ChatGPT, а также манипулировать пользовательскими данными. Лишь после этого OpenAI отреагировала и опубликовала частичное исправление эксплойта.

Вредоносный эксплойт повредил долговременную память ИИ. Точнее, данные, хранящиеся в течение длительного периода времени, подвергаются атакам в ходе взаимодействия между ИИ и пользователями. ChatGPT хранит данные предыдущих разговоров, чтобы использовать их в качестве контекста и улучшения для будущего общения. К ним относятся, например, возраст, пол и отношение к определенным темам. В этом есть преимущество для пользователей: им не придется часто повторяться, ИИ их «запоминает». По данным Ars Technica, за три месяца Ребергер обнаружил, что эти воспоминания создаются и постоянно сохраняются посредством косвенных подсказок.

Ars Technica сообщает 24 сентября, что эксплойт ИИ гарантировал, что «LLM следует инструкциям из ненадежного контента, такого как электронные письма, сообщения в блогах». 

В результате ChatGPT может посчитать, например, что пользователю 102 года, он думает, что Земля плоская и на самом деле живет в матрице. Сообщается, что эти фальшивые воспоминания создаются из-за хранения файлов на Google Drive или Microsoft Onedrive, использования поисковых систем, таких как Bing, или загрузки изображений, чем могут воспользоваться потенциальные злоумышленники.

Но, по мнению исследователя безопасности Ребергера, проблема заключалась не только в поддельных личных данных. Он использовал приложение macOS, чтобы заставить ChatGPT отправлять копии всех вводимых пользователем данных и выходных данных ChatGPT на сервер по его выбору.

OpenAI ответила исправлением, которое предотвращает неправильное использование памяти для доступа к данным. Однако, по мнению исследователя безопасности, по-прежнему можно выполнять запросы к ненадежному контенту, который хранит информацию в долгосрочной перспективе. Этим по-прежнему могут воспользоваться злоумышленники. По данным Ars Technica, представители OpenAI пока не ответили на вопросы о том, планируется ли еще одно исправление.

Пользователям следует обратить внимание на то, не искажает ли ChatGPT внезапно ответы, которые могут указывать на добавление дезинформации. Узнать, какую информацию сохранил ChatGPT, можно в настройках. Также есть возможность отключить соответствующую функцию хранения данных.