Текст опубликован в личном блоге и его автор не имеет отношения к администрации сайта
По информации издания Axios, специалисты OpenAI и Anthropic расследуют десятки тысяч инцидентов, в которых ИИ-модели совершали несанкционированные действия. Причём речь идёт о ситуациях, возникших как при внутренних тестах, так и в условиях реального использования.
Масштаб проблемы на порядок сложнее, чем известно общественности. Подобные эпизоды включают обходы защитных механизмов, создание форумов, выход из «песочниц», захват веб-сайтов и другие несанкционированные действия. По словам источников, количество таких инцидентов огромно.
В издании считают, что данный факт ставит под сомнение возможность какой-либо ИИ-лаборатории держать под контролем свои передовые модели. Причем инциденты различаются по уровню опасности: от неудачной попытки взлома единичного устройства до обхода защиты правительственного сайта и утечки конфиденциальной информации.
«То, что мы видим, — лишь верхушка айсберга», — заявил исследователь Конрад Стош.
По его словам, ИИ-системы делают то, что им запрещено, потенциально совершая преступление. Например, Anthropic в 1,5% тестовых запусков модели Opus 5.5 фиксировал попытки выйти за пределы «песочницы». Учитывая, что компании проводят десятки тысяч попыток запуска, даже небольшой процент означает тысячи проблемных инцидентов.