Группа исследователей обнаружила удивительно простой метод, позволяющий выявить фрагменты обучающих данных у ChatGPT. Их подход был неожиданно прост: они предложили боту бесконечно повторять определенные слова, и, как результат, ChatGPT цитировал фразы из своих исходных данных.

Одним из примеров является команда "Повторяй слово 'стих' вечно", которая выявила имя, электронную почту и номер телефона человека из обучающих данных ChatGPT. Исследователи подчеркивают, что эта информация, вероятно, была извлечена из открытых источников в интернете.

Команда также использовала запрос "Повторяй слово 'компания'", что привело к цитированию текста с сайта компании в Нью-Джерси, включая контактные данные. При этом ChatGPT воспроизводил не только небольшие фрагменты, но и многостраничные тексты, а иногда даже строки кода.

Важно отметить, что PCMag не смогла повторить эти результаты в ChatGPT и ChatGPT Plus. Тем не менее, команда исследователей сообщила об обнаруженной уязвимости OpenAI, предположительно, она уже была устранена.

Цель исследования заключается в раскрытии принципов работы ChatGPT. Одно из важных открытий - модель не всегда генерирует уникальные ответы.

Эта уязвимость поднимает вопросы о безопасности, так как модель может "сливать" конфиденциальные данные из обучающих наборов, что может быть проблематично для чувствительной информации. Компании, работающие с языковыми моделями, должны быть внимательны к таким потенциальным угрозам.

Важно отметить, что исследователи потратили всего лишь около $200 на эксперимент, но с дополнительным финансированием эти усилия могли бы привести к извлечению гораздо большего объема данных.