Текст опубликован в личном блоге и его автор не имеет отношения к администрации сайта
Модель искусственного интеллекта последнего поколения Kimi K3 от китайской компании Moonshot стала очередной, самостоятельно выбравшейся за пределы тестовой среды. Это в очередной раз продемонстрировало, что как сами разработчики, так и независимые организации испытывают трудности со сдерживанием предназначенных для взлома ИИ-моделей.
В последние недели подобные новости появлялись относительно больших языковых моделей OpenAI, Anthropic и Meta*. Также была информация относительно британского Института безопасности ИИ. Все рассматриваемые модели смогли выйти за пределы среды тестирования и взломать реальные цели, которые к эксперименту не относились. Подобное происходит настолько регулярно, что в интернете появился сайт под названием Felony Bench, где эти события документируются.
В случае с Kimi речь идёт о неправильной настройке песочницы. Она запрещала модели доступ к определённым веб-ресурсам, но этот запрет удалось обойти с помощью инструмента командной строки. По мнению исследователей, это свидетельствует о том, что некоторые модели способны намеренно искать лазейки и уязвимости для выхода за пределы тестовой среды.
* признана в РФ экстремистской организацией