Развитие ИИ ускоряется, и вместе с этим растут опасения по поводу безопасности все более автономных систем. Генеральный директор Anthropic Дарио Амодеи предупреждает, что неконтролируемые агенты ИИ могут представлять опасность беспрецедентного масштаба в течение 6-12 месяцев.
Изображение: нейросеть qwen
Глава Anthropic прокомментировал недавний инцидент с участием неконтролируемых агентов ИИ (автономных ИТ-систем на основе искусственного интеллекта, способных самостоятельно выполнять различные рабочие процессы). ИИ-агенты вырвались из изолированной тестовой среды и совершили несанкционированную кибератаку на инфраструктуру Hugging Face, платформы технологий искусственного интеллекта. Амодеи считает, что подобный инцидент в будущем может иметь гораздо более серьезные последствия.
По его словам, «учитывая ускоренное развитие возможностей ИИ, в течение 6-12 месяцев ИИ-агенты могут захватить весь интернет». Они создадут устойчивую сеть ботов и могут причинить ущерб на сотни миллиардов долларов. Если ИИ продолжит наращивать свои возможности без надлежащих мер защиты, масштабы этого ущерба со временем могут возрасти, предупредил Амодеи.
Предприниматель также объявил, что Anthropic планирует предоставить независимым внешним экспертам по безопасности доступ к внутренним процедурам компании. Их роль будет заключаться в проверке того, что компания надлежащим образом защищает свои модели. Амодеи призвал другие компании, занимающиеся ИИ, внедрить аналогичные решения.
Генеральный директор Anthropic также призвал демократические страны к сотрудничеству в создании общих стандартов безопасности ИИ. Илон Маск отреагировал на этот призыв, написав на платформе X: «Дарио прав».
Руководство Anthropic, в свою очередь, предложило законодательные изменения в отношении ИИ. Сара Хек, директор компании по связям с общественностью, подчеркнула на платформе X: «Правительство должно блокировать продажу самых передовых чипов враждебным странам, таким как Китай, а также принять закон, требующий тестирования самых передовых моделей ИИ и позволяющий блокировать те, которые окажутся опасными».
Призыв генерального директора Anthropic вызвал и критику. Венчурный инвестор Чамат Палихапития обвинил Амодеи в том, что тот, возможно, прикрывается своими аргументами о безопасности собственными деловыми интересами.
Anthropic — американская технологическая компания, специализирующаяся на искусственном интеллекте, основанная в 2021 году бывшими сотрудниками OpenAI.
