Сокращение числа научных рецензентов привело к неожиданным последствиям для научного сообщества. Столкнувшись с недостаточным количеством качественных отзывов от коллег-ученых, исследователи начали постепенно обращаться к ChatGPT, чтобы получить конструктивную критику своих работ и находят ее более полезной, чем обычные отзывы людей.
Ученые не могут публиковать свои работы в уважаемых научных журналах, не проведя предварительное рецензирование. В ходе этого процесса специалисты из той же области изучают представленную работу, сравнивая ее с ранее опубликованными статьями и принципами, чтобы добавить глубины или полностью опровергнуть выводы автора. Широко распространено мнение, что рецензирование укрепляет работу исследователей и способствует оригинальности, поэтому этот процесс давно стал стандартом академической публикации.
Но есть одна маленькая проблема: большинство журналов полагаются на рецензентов-добровольцев. Это означает, что в процесс рецензирования могут включиться только те ученые, которые могут позволить себе работать бесплатно, исключая тех, кто не имеет возможности (или желания) делать это платно. То ли потому, что журналы работают на грани убыточности, то ли потому, что они пытаются защитить честность каждой рецензии, но такая модель привела к относительно небольшому числу рецензентов, которое, естественно, становится еще меньше, когда исследователям требуется кто-то адекватный из собственной научной области. Поэтому количество рецензентов в наше потребительское время очень мало.
Джеймс Зоу, доцент кафедры биомедицинских данных в Стэнфордском университете, хотел проверить, смогут ли чат-боты с искусственным интеллектом заменить людей в процессе экспертной оценки. Он и его коллеги собрали около 5000 предварительно рецензированных исследовательских работ от издательства Nature и Международной конференции по представлению знаний (ICLR). После передачи PDF-файлов в ChatGPT команда Цзоу сравнила отзывы чат-бота с отзывами, ранее предоставленными людьми. Примерно треть замечаний, высказанных ChatGPT, совпала с замечаниями, высказанными человеческими рецензентами, причем по докладам ICLR совпадение было несколько большим.
Цзоу поставил перед собой задачу обратиться к сотням исследователей, чьи работы участвовали в его эксперименте. Как показал опрос, проведенный командой Цзоу, более половины (57,4%) этих исследователей сочли отзывы ChatGPT «полезными» или «очень полезными». Подавляющее большинство (82,4%) даже сочли отзывы ChatGPT более полезными, чем отзывы «по крайней мере некоторых» рецензентов. К сожалению, в опросе не учтено, были ли отзывы ChatGPT иногда ошибочными, что очень важно в эпоху дезинформации чат-ботов с использованием искусственного интеллекта .
Исследование Цзоу (на данный момент оно доступно только на arXiv, поскольку оно все еще ожидает экспертной оценки) выявляет интересную дилемму. Действительно ли ChatGPT лучше предоставляет исследователям обратную связь, чем их собственные коллеги? Или доминирующая модель неоплачиваемого рецензирования не позволяет квалифицированным рецензентам предоставлять отзывы высокого качества?
