Компания NVIDIA представила новую двухуровневую систему безопасности на основе искусственного интеллекта (ИИ), которая, согласно её заявлению, могла бы предотвратить недавний громкий случай взлома системы Hugging Face моделями ИИ от OpenAI. Об этом сообщает Bloomberg.

Генеральный директор компании NVIDIA Дженсен Хуанг. Фото: Kiyoshi Ota/Bloomberg

Гигант полупроводниковой промышленности, стремительно расширяющий свою линейку продукции за пределы производства микросхем, выпускает два программных инструмента безопасности с открытым исходным кодом, которые можно запускать на его оборудовании. Новые решения предназначены для контроля доступа, которым обладают агенты ИИ, в режиме реального времени и их отключения при нарушении правил.

Джастин Бойтано, вице-президент NVIDIA по корпоративному ИИ, заявил, что если бы ведущие лаборатории использовали эту технологию для оценки своих моделей ИИ на ранних этапах, это могло бы предотвратить атаку на систему фирмы Hugging Face.Bloomberg отмечает, что неправомерные действия автономных агентов, включая инцидент с Hugging Face, потрясли индустрию ИИ и стал причиной призывов замедлить работу над технологией. Представляя новый продукт – Open Agent Safety Platform, компания Nvidia предлагает способ предотвращения нарушений безопасности без сдерживания развития ИИ. Дженсен Хуанг, глава корпорации неоднократно преуменьшал риски того, что искусственный интеллект может выйти из-под контроля человека.

Джастин Бойтано не стал комментировать, планируют ли OpenAI или Anthropic использовать новую систему для мониторинга процессов обучения своих моделей, оставив этот вопрос на усмотрение самих компаний.В последнее время Дженсен Хуанг рассматривал проблемы безопасности ИИ как инженерную задачу, а не как нечто, требующее усиления регулирования или глобальной координации. 

Инженерное решение NVIDIA проблемы безопасности ИИ состоит из двух частей. OpenShell, программный продукт, который компания уже представила на своей знаковой технологической конференции в марте, может работать на центральных процессорах NVIDIA Vera. Он позволяет пользователям устанавливать правила доступа для ИИ-агентов и обеспечивать их соблюдение в режиме реального времени. Программное обеспечение поставляется с открытым исходным кодом, что означает возможность его свободного использования и адаптации.

NVIDIA Sentry – это новый продукт, который может работать на процессорах BlueField. Согласно заявлению компании, система призвана обеспечить дополнительный уровень мониторинга на базе ИИ, который контролирует работу агентов и вмешивается, чтобы изолировать тех из них, что ведут себя подозрительно.