Команда под руководством биомедицинского ученого-компьютерщика доктора Уильяма Херша из Орегонского университета здравоохранения и науки (OHSU) применила шесть генеративных голосовых моделей искусственного интеллекта, в том числе ChatGPT OpenAI, к онлайн-версии популярного вводного курса по биомедицине и медицинской информатике. Исследователи хотели сравнить результаты ИИ с показателями реальных студентов.
Результаты ChatGPT лучше, чем у большинства студентов

 ИИ решил задачи лучше, чем три четверти студентов-людей. Для своего исследования команда использовала результаты оценки знаний 139 студентов университета, завершивших вводный курс по биомедицинской и медицинской информатике в предыдущем году.

Затем исследователи отправили тесты шести языковым моделям искусственного интеллекта. Не все модели показали себя одинаково хорошо. Тем не менее, в зависимости от модели ИИ, результаты были хорошими: 50-75% справились с заданием. Использовались вопросы с несколькими вариантами ответов и вопросы выпускного экзамена, на которые необходимо было дать краткие письменные ответы.

«Результаты этого исследования поднимают важные вопросы для будущего оценивания студентов в большинстве, если не во всех, академических дисциплинах», — пишут авторы в своем исследовании, недавно опубликованном в журнале npj Digital Medicine.

Сюда входит и вопрос списывания на экзаменах, объясняет Херш. Но реальная проблема гораздо серьезнее:

«Откуда мы знаем, что наши студенты действительно учатся и приобретают знания и навыки, необходимые им для будущей карьеры, а не используют ИИ для решения задач?».

По крайней мере, на данный момент у преподавателя есть проверенное решение. 

«Я обновляю курс каждый год», — говорит Херш. 

По его словам, всегда есть новые достижения в каждой научной области, и большие языковые модели не обязательно актуальны. Это просто означает, что нужно придумать новые или более сложные тесты, на которые не дадут ответа чат-боты вроде ChatGPT.