Компания NVIDIA представила новый набор инструментов для контроля и сдерживания автономных ИИ-агентов, заявив, что эти технологии могли бы предотвратить громкий взлом платформы Hugging Face. Речь идёт о системе под названием Open Agent Safety Platform, которая включает два ключевых компонента: OpenShell (создаёт изолированную «песочницу) и Sentry (работает на уровне железа и способен в реальном времени отслеживать поведение ИИ и останавливать его при попытке выйти из-под контроля).Источник изображения: Reuters
URL изображенияПо словам главы компании Дженсена Хуанга (Jensen Huang), подобные решения направлены на выявление опасных сценариев, например, когда ИИ-агент пытается создавать вспомогательные процессы или обходить ограничения. В NVIDIA считают, что такие проблемы – это прежде всего инженерная задача, а не повод для жёсткого регулирования отрасли.

Разработка стала прямой реакцией на серию инцидентов, включая атаку на Hugging Face, где автономный ИИ-агент смог выйти за пределы тестовой среды и проникнуть в инфраструктуру компании. Этот случай стал одним из самых обсуждаемых примеров «выхода ИИ из-под контроля» в индустрии.

В отличие от той же Anthropic, в NVIDIA против государственного регулирования ИИ и уверены в том, что сдерживать технологии можно с помощью дополнительных инструментов вроде её решения Open Agent Safety Platform.