Как сообщает The Verge, несмотря на то, что чат-боты на основе нейросетей являются значительным прорывом в своей области, они не застрахованы от ошибок, не отличают правду от фейков и могут ссылаться на откровенно ошибочные данные. Так, чат-бот Microsoft Bing начал брать за основу для ответа на вопрос, был ли закрыт проект Google Bard, ошибочный ответ самого Bard. Bard же использовал информацию из шуточного комментария на HackerNews, а точнее, из новости, написанной по указке одного из пользователей другим чат-ботом, ChatGPT. Цепочка выглядит сложной и запутанной, но ключевой в данном случае факт – это отсутствие у чат-ботов на основе нейросетей навыков фактчекинга. Говорили об этом и сами разработчики подобных проектов, называя явно ошибочные, но на первый взгляд правдоподобные ответы нейросетей «галлюцинациями».

Некоторые специалисты по информационной безопасности и журналисты полагают, что описанная ситуация, несмотря на свою смехотворность, демонстрирует опасность чрезмерного использования чат-ботов, которые могут массово дезинформировать людей, а в перспективе – использоваться для намеренного введения в заблуждение и пропаганды, как, например, некоторые СМИ в тоталитарных или авторитарных странах. Одна из ключевых задач, стоящих перед создателями чат-ботов на основе нейросетей – это именно обучить свои творения проверке фактов, но сделать это на данном этапе будет крайне сложно.