Американская компания Anthropic заявила, что её модель искусственного интеллекта Claude была использована не по назначению, в попытках разработки широкого спектра потенциальных военных технологий, включая рои беспилотников-камикадзе, системы навигации ракет и биологическое оружие. Об этом сообщает Bloomberg.
Фото: Patrick Sison / АР
В опубликованном отчёте аналитической группы Anthropic по угрозам указано, что за последний год среди пользователей из таких стран, как Иран, Россия, Китай и Йемен, были зафиксированы случаи неправомерного использования передовых моделей компании. При этом ни один из случаев не касался самых продвинутых моделей Anthropic – Fable и Mythos. В отчёте также говорится, что по мере совершенствования моделей, риски связанные с ними, будут возрастать, если разработчики ИИ и защитники общества не предпримут действий для повышения их безопасности.
Bloomberg отмечает, что компании из США, занимающиеся разработками в области искусственного интеллекта, соревнуются в создании и внедрении более совершенных систем ИИ. Отчасти это делается для того, чтобы опередить таких конкурентов, как Китай. При этом компании-разработчики одновременно стремятся обеспечить безопасность.В частности, Anthropic стремится предотвратить применение своих технологий в вредоносных целях , включая разработку биологического и обычного оружия.
Такая позиция привела к прямому конфликту с Пентагоном, который приостановил сотрудничество с Anthropic после того, как компания отказалась разрешить использование своей модели Claude для массового наблюдения или создания автономных систем вооружений. В отчёте компании указано, что пользователи пытались использовать Claude для оказания помощи противникам Америки. Во многих случаях они пытались обойти системы безопасности модели или скрыть свое местоположение.
Согласно заявлению компании, пользователи из России, которые, как было установлено, не были связаны с государством, пытались использовать Claude для создания программного обеспечения для автономного роя беспилотников-камикадзе, обученных на основе видеозаписей из районов боевых действий.
В отчёте компании также подробно описаны пять случаев использования Claude способами, которые могут способствовать разработке биологического оружия, включая спонсируемых государством вирусологов, стремящихся создать улучшенную версию опасного вируса чикунгунья, передаваемого комарами. Эта работа была инициирована в связи с просьбой о помощи Claude в написании заявки на грант для финансирования исследований в военном институте в неназванной стране, где компания Anthropic не предоставляет свои услуги.
В компании отметили, что все описанные в отчёте биологические примеры носят «неоднозначный» характер и касаются исследований, которые могут иметь благие научные намерения. Однако, согласно представленной информации, йеменские повстанцы-хуситы использовали Claude для разработки ПО для нескольких типов ракет. При этом в Anthropic отметили, что не располагают доказательствами того, что злоумышленникам удалось развернуть боевое устройство. По данным компании, связанные с властями субъекты в таких странах, как Китай и Иран, пытались использовать Claude для осуществления слежки.
В одном из случаев выяснилось, что консультант, предположительно работавший на государственное разведывательное агентство Мали, использовал Claude для создания системы, предназначенной для мониторинга примерно 25 миллионов мобильных телефонов в этой западноафриканской стране. Система могла генерировать «разведывательные досье» по любому указанному номеру телефона без постановления суда. Компания Anthropic заявила, что заблокировала аккаунт консультанта, но платформа слежения на базе Claude была развернута локально и находилась вне полного контроля компании.
В отчёте Anthropic также подчёркнуто, как хакеры, от предполагаемых специалистов разведывательных служб России и КНР до хактивистов и киберпреступников, используют ИИ компании для ускорения и усиления своих усилий по краже конфиденциальных данных. О наличии каких-либо новых или опасных уязвимостей в критически важных системах в отчёте не говорится.
Зато подробно описано, как как одна хакерская группа, которую корпорация Microsoft называет Midnight Blizzard и которая якобы связана с российскими спецслужбами, «ускорила свои операции, автоматизировав их с помощью ИИ». Заявлено, что программное обеспечение Anthropic использовалось для автоматизации многих этапов разработки вредоносного ПО и создания фишинговых писем, направленных против военной разведки и оборонных целей.
Компания Anthropic также сообщила, что другая хакерская группа, занимающаяся кибервымогательством и известная как ShinyHunters, применяла ИИ для поиска утечек учётных данных и их использования для кражи данных у пострадавших организаций. В отчёте Anthropic указано, что приведенные случаи не являются типичными примерами злоупотреблений, а представляют собой наиболее заметные и новые виды угроз, которые удалось выявить на сегодняшний день. Там также подробно описаны другие типы угроз, включая мошенничество и инструменты для взлома.
