☰
︎

NYT: ИИ-детекторы текстов в университетах США не обладают 100%-ной точностью

В университетах есть детекторы ИИ, которые должны выявлять тексты, написанные с помощью нейросети, а не написанные самими студентами. Однако, как утверждает The New York Times, эти инструменты часто ошибаются.
19 мая 2025, понедельник 20:09
kosmos_news для раздела Блоги

Текст опубликован в личном блоге и его автор не имеет отношения к администрации сайта

Нейросеть или человек — кто написал текст? Этот вопрос стал актуальным с появлением искусственного интеллекта, но на него не всегда легко ответить. Так называемые детекторы ИИ призваны помочь в обнаружении контента, созданного нейросетью. Но и они не всегда верны. Как сообщает New York Times, было несколько случаев, когда детекторы ошибочно помечали текст как сгенерированный ИИ. Например, студентка Ли Баррелл получила уведомление от одного из своих преподавателей. В нем говорилось, что детектор ИИ обнаружил, что представленная ею работа была частично создана с помощью нейросети.

Студентка очень удивилась, когда ей сообщили, что написанная работа была создана с помощью нейросети К счастью, для Ли Баррелл все закончилось хорошо. Она отправила в департамент 15-страничный PDF-файл со снимками экрана, заметками и историей изменений своей работы, которую она создала в Google Docs. Все действия, которые она совершала при написании материала, можно было задокументировать с помощью временной метки. Подобные случаи также побудили других студентов документировать весь процесс создания материалов с самого начала.

Некоторые студенты начали оставлять функцию записи экрана на своих ноутбуках постоянно включенной. В конце они получают часовое видео, документирующее каждый этап процесса написания материала. 

Специалисты, ответственные за создание ИИ-детекторов, часто признают, что такие инструменты не надежны на 100%. Это касается и компании Turnitin, производителя детектора искусственного интеллекта, используемого в университете, где учится Ли Баррелл. Именно этот инструмент отметил ее работу как «подозрительную».

По данным Turnitin, вероятность ошибки составляет около четырех процентов, и инструмент ни в коем случае нельзя использовать в качестве единственного основания для принятия решений о том, кто написал работу.

Некоторые университеты США также это признали. Они либо полностью отказались от ИИ-детекторов, либо разрешили использовать их только в качестве индикатора использования искусственного интеллекта. 

Зачастую детекторы определяют лишь то, что используемый стиль письма не соответствует норме. Кэтрин Майо, профессор колледжа в Сакраменто, испытала это на себе. Она также использовала инструмент для проверки работ учащихся. Однако, когда она проанализировала свои собственные тексты в качестве теста, инструмент также отметил их как «подозрительные».

С тех пор она использовала этот инструмент лишь изредка. Теперь профессор дает студентам индивидуальные письменные задания. Это сделано для того, чтобы затруднить выполнение заданий с помощью инструментов искусственного интеллекта, таких как ChatGPT. Если она подозревает кого-то в использовании инструментов ИИ, то прямо спрашивает об этом. По ее словам, большинство из таких подпавших под подозрение студентов прямо признают, что использовали ИИ, или просто отказываются от курса без дополнительных объяснений.

Кстати, еще пару лет назад OpenAI создала инструмент, который должен был отличать написанный человеком текст от контента, созданного ИИ. Однако вскоре его отключили, потому что процент определения автора написанного текста — человек это был или ИИ — оказался слишком низким.

Инструмент стал необходим после того, как системы искусственного интеллекта OpenAI стали использоваться в школах или университетах, иногда без разрешения. Образовательные учреждения Нью-Йорка даже запретили доступ к ChatGPT на территории кампуса из-за опасений по поводу точности предоставляемой инструментом информации, безопасности и мошенничества. Кроме того, ИИ зачастую создает просто ложную информацию, которая может казаться обманчиво реальной. Однако кажется, что прямо сейчас даже у компании, которая стала пионером повального увлечения генеративным ИИ, нет ответов о том, как со всем этим справиться, или даже проверить, кто написал текст.