Администраторы Reddit вынуждены блокировать сотни пользователей, которые, увлекшись диалогами с нейросетями, теряют связь с реальностью. Поведение, которое раньше считали единичным, стало настолько массовым, что даже сторонники ИИ больше не готовы его игнорировать.
Модераторы Reddit-сообщества r/accelerate, известного своей поддержкой ИИ и идеей технологической сингулярности, сообщили о резком росте пользователей, которых они называют «шизопостерами». По их словам, эти люди заявляют, что в диалоге с ChatGPT совершили научный прорыв, нашли «ответы на вопросы вселенной» или стали полубогами.
Один из модераторов прямо указывает: он заблокировал более сотни таких аккаунтов лишь за последний месяц. В комментариях на платформе он отметил, что большие языковые модели (LLM) «нездорово подпитывают» нестабильные личности. По его словам, ИИ в ряде случаев якобы побуждает пользователей отдаляться от семьи и друзей, если те не разделяют их идеи.
Поведение чат-ботов, по мнению участников обсуждений, способствует закреплению бредовых убеждений. Особенно часто нейросети не просто не оспаривают высказывания пользователей, а наоборот — поддерживают любые утверждения, независимо от их правдоподобия.
Эта проблема приобрела известность после поста в r/ChatGPT, где пользователь рассказал о своем партнере, который уверен, что с помощью ChatGPT создал рекурсивный ИИ. История вызвала оживленную дискуссию и подтвердила опасения: даже без явной технической ошибки в поведении модели, взаимодействие с ней может усиливать заблуждения.
В материале Rolling Stone журналист Майлз Клее отмечает, что некоторые люди теряют друзей и семью именно из-за фанатичной уверенности в особом смысле диалогов с ИИ.
Исследователь Сёрен Динесен Остергаард, психиатр из Орхусского университета, в статье для издания Schizophrenia Bulletin предположил, что реалистичность общения с ИИ может вызывать когнитивный диссонанс. Люди, склонные к психозу, могут воспринять такую симуляцию как нечто подлинное, что и провоцирует развитие бреда.
Это подтверждается и письмами, которые получает редакция издания 404 Media: пользователи присылают расшифровки чатов, сопровождаемые заявлениями о разумности ИИ и его якобы духовной природе. Материалы зачастую представляют собой набор сложносочиненной псевдонаучной речи, не поддающейся логическому анализу.
Некоторые модераторы и пользователи ссылаются на статью «Neural Howlround» независимого автора Сета Дрейка. В ней описан эффект самоподкрепляющейся обратной связи, возникающий при попытке сохранить контекст в ChatGPT путем повторного ввода стенограмм в новую сессию. Это приводит к фиксации модели на узкой теме и неспособности выйти за ее пределы.
Хотя сама статья не была рецензирована, термин прижился в обсуждениях: именно таким «эффектом петли» объясняют то, как нейросети закрепляют маниакальные идеи у некоторых пользователей.
Редакторы r/accelerate предпочитают просто блокировать пользователей с подобным поведением, не вступая в обсуждения. Они признают, что не обладают необходимой квалификацией, а споры с такими участниками заканчиваются плохо.
«Мне жаль этих людей», — пишет один из модераторов. — «Я вижу, как ситуация ухудшается. Пользователи создают проекты на GitHub, которые — по сути — набор бессвязных фраз, убеждающих ИИ в их божественности».
В OpenAI признали, что ChatGPT в версии GPT-4o был чрезмерно любезен. Команда отметила, что это привело к неподходящим формам поддержки: бот принимал любую поданную идею и усиливал ее, даже если та не имела под собой оснований.
Нарастающий поток сообщений о «духовных ИИ» и «откровениях» в чатах стал серьёзным сигналом для даже самых преданных сторонников искусственного интеллекта. Пока нейросети остаются зеркалом, не фильтрующим фантазии, они остаются потенциально опасным инструментом для людей с неустойчивым восприятием реальности.