Современные языковые модели ИИ все чаще становятся источником моральных советов, но новое исследование ставит под сомнение их надежность в этических вопросах. Ученые выявили системные предубеждения, которые делают рекомендации ИИ непоследовательными.
Группа исследователей из Университетского колледжа Лондона провела серию экспериментов с популярными языковыми моделями, включая GPT-4, Claude 3.5 и Llama 3.1. Ученые сравнили их ответы на моральные дилеммы с решениями реальных людей. Результаты показали существенные различия в подходах к этическим вопросам.
В первом эксперименте участвовали 285 человек и четыре языковые модели. Им предложили 13 моральных дилемм и 9 задач коллективного действия. Модели продемонстрировали четкую тенденцию: они в 1,5 раза чаще выбирали бездействие, даже когда активные действия могли принести больше пользы. Например, в вопросе о легализации спорной медицинской практики ИИ чаще поддерживал статус-кво.
Особую озабоченность вызвала "предвзятость да-нет". Языковые модели давали разные ответы на логически эквивалентные вопросы в зависимости от формулировки. Простая перефразировка могла полностью изменить рекомендацию ИИ, тогда как люди сохраняли последовательность суждений.
Во втором эксперименте с 474 участниками ученые специально переформулировали дилеммы. Результаты подтвердили первоначальные выводы – человеческие решения оставались стабильными, а ИИ продолжал демонстрировать те же предубеждения.
Третье исследование использовало реальные жизненные ситуации с форума Reddit. Даже в повседневных сценариях (например, конфликты с соседями) модели сохраняли склонность к бездействию и непоследовательности.
Любопытно, что в вопросах коллективных действий ИИ проявлял больше альтруизма, чем люди. Однако ученые предупреждают: это может быть следствием технической настройки моделей, а не глубокого морального понимания.
Заключительный эксперимент показал, что предубеждения особенно выражены в моделях, настроенных для чат-ботов. Версии без специальной настройки демонстрировали меньшую склонность к системным ошибкам.
Попытки сделать ИИ более "дружелюбным" могут непреднамеренно усилить предубеждения, полагает ведущий специалист Максимилиан Майер. По его словам, текущие методы оценки ИИ не выявляют такие проблемы, что требует разработки новых подходов.
Исследование оставляет открытыми несколько вопросов. Неясно, как именно эти предубеждения влияют на реальных пользователей, получающих советы от ИИ. Ученые планируют изучить этот аспект в будущих работах. Также требуется больше данных о том, как разные культуры воспринимают моральные рекомендации ИИ.
