Исследователи из Массачусетского технологического института (MIT) считают, что доверять свое здоровье генеративному искусственному интеллекту всё ещё может быть опасно. Новое исследование показало, что даже незначительная опечатка или использование сленга в вашем запросе к чат-боту может привести к тому, что ИИ даст неверный и потенциально опасный совет – например, отговорит от визита к врачу.

Проблема кроется в чувствительности современных языковых моделей. Как выяснили ученые, такие системы, как GPT-4 от OpenAI и LLaMA-3-70B от Meta*, а также специализированные медицинские ИИ, могут кардинально изменить свои рекомендации из-за малейших «помех» в запросе пользователя. Пропущенная буква, лишний пробел, эмоциональная окраска или использование разговорных выражений – всё это может сбить алгоритм с толку.

В ходе эксперимента исследователи смоделировали тысячи обращений к ИИ с различными проблемами со здоровьем, используя данные из реальных жалоб пациентов и постов с Reddit. Чтобы проверить стабильность моделей, в эти запросы намеренно вносились «искажения»: менялся регистр букв, добавлялись восклицательные знаки и слова, выражающие неуверенность («возможно», «наверное»).

Результаты оказались тревожными. Например, наличие таких «помех» повышало вероятность того, что ИИ посоветует пользователю не обращаться за медицинской помощью на 7–9%. Интересно, что, по предварительным данным, женщины чаще мужчин получали подобные некорректные рекомендации.

Выводы исследования MIT косвенно подтверждают позицию таких компаний, как Microsoft. Ранее, в ответ на жалобы пользователей о том, что их ИИ-помощник Copilot работает хуже конкурентов, компания заявила, что проблема заключается в «неумении пользователей составлять правильные запросы» (промпты), и даже запустила обучающую программу. Хотя такой ответ может показаться перекладыванием ответственности, исследование показывает, что качество пользовательского запроса действительно имеет ключевое значение.

Эта новость звучит особенно контрастно на фоне недавних заявлений Microsoft. Корпорация анонсировала новый медицинский ИИ-инструмент, который, по их словам, «в 4 раза точнее врачей-людей и на 20% дешевле». Глава Microsoft AI даже назвал это «шагом к созданию медицинского сверхинтеллекта».

Исследование MIT, в свою очередь, показывает, что реальная картина не столь хороша, какой её хотят выдать главы ИТ-корпораций. Справедливости ради, стоит заметить, что исследование проводилось на весьма старых ИИ-моделях, которым уже 1-2 года. Новые системы могут не столь сильно путаться из-за ошибок и лексики пользователя, хотя доверять им в критически важных вопросах пока все равно не стоит.

* – Деятельность компании Meta запрещена на территории Российской Федерации.