Источник изображения: Levart_Photographer/Unsplash

Исследователи Клаудия Язвинска (Klaudia Jaźwińska) и Айсварья Чандрасекар (Aisvarya Chandrasekar) проанализировали 200 цитат из материалов 20 различных издателей, включая The New York Times, The Washington Post и The Financial Times. Они обнаружили, что ChatGPT допускал неточности в цитировании во всех случаях, независимо от того, имело ли издание договор с OpenAI или нет.

«Наши тесты показали, что ни один издатель — независимо от степени сотрудничества с OpenAI — не избежал неточного представления своего контента в ChatGPT», — отметили исследователи. Из 153 случаев некорректного цитирования ИИ «честно» признал свою неспособность точно ответить на запрос только семь раз.

Особую озабоченность вызывает тот факт, что ChatGPT часто демонстрирует полную уверенность в своих неверных ответах и может даже приписывать авторство материалов сайтам, которые не являются первоисточником. Исследователи также обнаружили, что при повторных запросах бот выдает разные ответы, что делает результаты непредсказуемыми.

В ответ на независимые тесты представители OpenAI не согласились с их результатами и заявили, что был проведен «нетипичный тест их продукта», подчеркнув: «Мы поддерживаем издателей и авторов, помогая 250 миллионам еженедельных пользователей ChatGPT находить качественный контент через краткое изложение, цитаты, четкие ссылки и атрибуцию».

В конечном итоге исследователи пришли к выводу, что в текущей ситуации издатели имеют «очень мало реального контроля» над тем, как их контент используется в ChatGPT, причем даже полная блокировка поисковых роботов OpenAI не гарантирует защиту от неправильной атрибуции материалов.