Представители Оксфордского интернет-института и кафедры первичной медико-санитарной помощи Оксфордского университета провели исследование, согласно которому существуют большие сомнения в возможностях больших языковых моделей помогать людям в медицинских вопросах. Участие в исследовании приняли 1298 британцев.

Одна группа участников использовала такие модели, как GPT-4o, Llama 3 и Command R. Эти модели оценивали симптомы заболевания и предлагали варианты лечения. Контрольная группа использовала традиционные методы, включая собственные знания и поисковые системы.

Изображение: GrokРезультаты группы с генеративным искусственным интеллектом были хуже, чем у контрольной группы, в первую очередь в плане оценки срочности болезни. Также они хуже справлялись с определением заболевания.

Одной из проблем было то, что пользователи затруднялись дать чат-боту полноценную информацию о своём заболевании. В результате этого модели могли давать противоречивые и просто неправильные советы.

Исследователи делают вывод о том, что современные чат-боты не готовы к применению в качестве надёжных медицинских консультантов.