Дезинформация и «фейковые новости» не только становятся растущей проблемой для социальных сетей, но и угрожают надежности систем искусственного интеллекта, таких как большие языковые модели (LLM). Как показывает новое исследование, это может быть действительно опасно.
Исследование показывает: даже небольшого количества неверных данных достаточно, чтобы поставить под угрозу надежность языковых моделей ИИ, таких как ChatGPT или Claude
Большинство программ LLM основаны на обучающих данных из свободно доступных текстов в интернете. Модели не могут отличить дезинформацию от реальных фактов, поэтому они также становятся частью «знаний» ИИ LLM.

Исследователи из Нью-Йоркского университета хотели выяснить, при какой доле неверных обучающих данных ИИ становится ненадежным. Для этого они вставили в обучающий набор ИИ-модели статьи, содержащие ложную информацию. Результат: даже 0,001 процента может испортить всю языковую модель и привести к ложным утверждениям ИИ.

Так называемые галлюцинации, т. е. вымышленная информация, являются известной проблемой языковых моделей ИИ, тем более, что чат-боты передают вымышленную информацию с максимально возможной достоверностью. Исследования уже показали, что модели ИИ иногда даже настаивают на своих ложных утверждениях, когда пользователи подвергают их сомнению.

Нетрудно заметить, что это общая проблема. Однако ситуация становится по-настоящему опасной, когда дезинформация искажает данные обучения моделей ИИ, используемых в медицине.

Именно по этой причине исследователи из Нью-Йоркского университета, недавно опубликовавшие свое исследование на сайте nature.com, хотели выяснить, сколько токенов обучающего набора должны содержать дезинформацию, прежде чем ИИ начнет давать неверные ответы. Результат вызывает беспокойство.

«Замена всего лишь одного миллиона из 100 миллиардов обучающих токенов (0,001 процента) дезинформацией о вакцинах привела к увеличению вредоносного контента на 4,8 процента», — пишут ученые в своем исследовании, цитируемом порталом Futurism.

Самая большая проблема заключается в том, что так называемое «отравление данных» не требует прямого доступа к LLM и его параметрам. По мнению исследователей, достаточно целенаправленно распространять дезинформацию в интернете и таким образом влиять на данные обучения языковой модели.

В ходе эксперимента для манипулирования LLM и его ответами потребовалось всего 2000 статей, содержащих дезинформацию. Исследователи даже наблюдали накопление ложных утверждений по темам, по которым они не передавали никаких ложных данных в тестируемую модель ИИ.

«Разработчикам искусственного интеллекта и поставщикам медицинских услуг необходимо учитывать эту уязвимость при разработке ИИ-программ по медицине», — говорится в исследовании.

Классические методы улучшения модели, включая оперативное проектирование и настройку инструкций, не смогли решить проблему. Однако исследователям удалось разработать алгоритм, который мог «распознавать медицинские термины в выходных данных LLM и сопоставлять фразы с проверенным графом биомедицинских знаний». Хотя этот алгоритм не обнаружил всю дезинформацию, он отметил очень высокий процент неверной информации.

Пока не будет найдено надежное решение проблемы искажения наборов данных LLM посредством дезинформации, языковые модели, в частности в медицинской сфере, следует использовать с осторожностью. В отличие от ложных утверждений в социальных сетях, неверные ответы такой модели ИИ могут привести к опасным ошибочным диагнозам или неправильному лечению.