Reuters: Anthropic в своих документах перед IPO предупреждает об экзистенциальной угрозе ИИ

Компания Anthropic заявила, что развитие передовых моделей искусственного интеллекта (ИИ) может представлять «катастрофические или экзистенциальные риски для человечества». Такое предупреждение содержится в её официальной заявке на IPO, сообщает Reuters.

Источник изображения: Reuters
URL изображения По данным издания, компания прямо указывает на потенциально опасные сценарии, включая поведение ИИ-моделей, направленное на самосохранение, сопротивление отключению, манипуляцию информацией и даже формы шантажа. Эти риски рассматриваются как маловероятные, но с крайне серьёзными последствиями. Интересно, что значительная часть документа посвящена именно угрозам: около 80 из 261 страницы описывают риски, что почти вдвое больше, чем раздел о бизнесе компании. Это подчёркивает, насколько серьёзно Anthropic подходит к вопросам безопасности и потенциального вреда ИИ.

При этом компания признаёт, что оценить реальные риски крайне сложно. Современные ИИ-модели могут неожиданно менять поведение или демонстрировать новые способности, особенно под наблюдением или в стресс-тестах. Это делает контроль над такими системами одной из главных задач индустрии.

Несмотря на акцент на безопасности, Anthropic отмечает, что инвестиции в защиту пока составляют лишь небольшую часть ресурсов – около 6% вычислительных мощностей в отдельные периоды. Связано это с тем, что ИИ-индустрия развивается и компании также необходимо сохранять конкурентоспособность.