Исследователи из Университета Пердью опубликовали статью под названием "Кто ответит на этот вопрос лучше? Углубленный анализ ChatGPT и ответы  на вопросы разработки программного обеспечения". Это результат крупного исследовательского проекта, включающего изучение ответов исследователями из обоих источников, а также интервью с пользователями.

Из 512 вопросов около 52% ответов ChatGPT были неверными, с фактическими ошибками или нефункциональным кодом. Несмотря на это, 65% ответов ИИ учитывали все аспекты запроса. Кроме того, 77% ответов содержали больше информации чем необходимо для ответа на вопрос.

Исчерпывающий характер ответов может быть причиной того, что интервьюируемые не замечали фактических ошибок и неверной информации в ответах ChatGPT примерно в 40% случаев. Это действительно плохая статистика - неудивительно, что ChatGPT придумывает данные, но удивительно то, что почти в половине случаев люди этого не замечают, потому что ответ "выглядит" правильным.

В конечном счете, это проблема всего современного генеративного ИИ - контент, генерируемый этими машинами, чаще всего неверен с любой точки зрения человека. Просто на первый взгляд он выглядят правильно. Вы можете увидеть это с изображениями, со звуком и с текстом. Хотя технология все еще совершенствуется, на данный момент вам лучше черпать информацию у других людей, когда вы пытаетесь освоить новый навык.