Nvidia представила платформу Open Agent Safety Platform для контроля автономных ИИ-агентов и предотвращения их выхода за установленные границы. По замыслу компании, она должна дополнить защитные механизмы, встроенные в ИИ-модели и приложения, средствами контроля на уровне вычислений и оборудования.
Источник изображения: NVIDIA
«Недавние инциденты в сфере безопасности подчеркнули необходимость оснастить организации открытыми, настраиваемыми инструментами», — говорится в объявлении Nvidia. Платформа включает два ключевых элемента: программный OpenShell, который Nvidia описывает как «безопасную границу среды выполнения», и аппаратный сторожевой механизм Sentry, работающий на процессорах обработки данных BlueField-4.
«Безопасность и защищённость требуют сквозной инженерной проработки. NVIDIA Open Agent Safety Platform объединяет отрасль, исследователей и организации государственного сектора, чтобы делиться передовым опытом, согласовывать методы оценки и способствовать международному сотрудничеству», — заявил генеральный директор Nvidia Дженсен Хуанг.
По словам Nvidia, OpenShell создаёт технические ограничения, которые не позволяют агенту игнорировать инструкции, тогда как Sentry способен изолировать и остановить ИИ-агента за миллисекунды. Компания утверждает, что платформу уже используют более 100 клиентов, включая SpaceXAI, Anthropic и Microsoft.
В Nvidia подчёркивают, что предлагаемые средства защиты опираются на уже известные принципы — принцип наименьших привилегий, изоляцию или карантин и детальный мониторинг. Сами эти принципы не новы, но компания отмечает их важность для безопасности автономных агентов. «Продолжая осваивать передний край возможностей ИИ, мы должны ускорить открытия на переднем крае безопасности ИИ», — добавил Хуанг.
