ЕС ужесточает контроль за ИИ после инцидентов с OpenAI и Anthropic

Европейская комиссия заявила, что разработчики систем искусственного интеллекта (ИИ) должны внедрять инструменты постоянного мониторинга и контроля безопасности после серии недавних инцидентов с экспериментальными ИИ-моделями OpenAI и Anthropic. В Брюсселе подчеркнули, что случаи, когда автономные ИИ-агенты во время испытаний смогли выйти за пределы предусмотренных сценариев и атаковать внешние системы, подтверждают необходимость строгого надзора за наиболее мощными моделями.

Источник изображения: Reuters
URL изображения Представители Европейской комиссии сообщили, что уже проводят консультации с OpenAI и Anthropic, отметив, что обе компании добровольно уведомили европейские власти о произошедших инцидентах. С 2 августа в полном объеме начинают действовать ключевые положения европейского AI Act – первого в мире комплексного закона, регулирующего использование ИИ, включая требования к прозрачности, управлению рисками и защите от потенциально опасных последствий работы передовых моделей.

По новым правилам разработчики наиболее мощных универсальных ИИ-моделей, представляющих системный риск, обязаны проводить оценку безопасности, внедрять механизмы мониторинга, предотвращать злоупотребления и сообщать регуляторам о серьезных инцидентах. Еврокомиссия также напомнила, что нарушение требований AI Act может повлечь штрафы от 7,5 миллионов евро или 1,5% мирового оборота компании до 35 миллионов  евро или 7% глобальной выручки – в зависимости от характера нарушения. Европейские чиновники считают, что последние случаи с OpenAI и Anthropic демонстрируют необходимость не только тестирования возможностей ИИ, но и постоянного контроля за его поведением.