Компания, которая готовится выйти на биржу, обязана показать инвесторам финансовые цифры и список собственных страхов. Этот раздел обычно читают юристы и самые дотошные инвесторы, остальные пролистывают. Иногда самое важное прячется именно там.

Изображение - ChatGPT

В понедельник Anthropic обновила заявку на размещение акций. Выручка компании быстро растет, расходы растут следом, и именно эти цифры обычно оказываются в центре внимания. Куда интереснее то, что обнаружилось в разделе о рисках.

В этом разделе компания предупредила, что стоит на пороге создания модели ИИ, способной к рекурсивному самосовершенствованию, то есть к умению улучшать саму себя. Простыми словами это значит, что искусственный интеллект учится настолько хорошо, что его возможности начинают расти стремительно.

Anthropic уже применяет ИИ в собственных исследованиях и разработках. Компания признала, что раньше не замечала значительного ускорения развития, пока оно уже не произошло, и не исключает подобной ситуации в будущем. Следует понимать, что ни одна из действующих моделей Anthropic пока не перешагнула установленный компанией порог. Внутренние оценки касаются будущих моделей, а не уже выпущенных версий Claude.

Для сторонников быстрого развития ИИ такая способность означает рост производительности, новые научные открытия и более мощные инструменты. Для тех, кто опасается последствий, это риск того, что технологии начнут развиваться быстрее, чем люди смогут их проверять и контролировать.

Anthropic признает обе стороны проблемы. Компания пишет, что использование ИИ для создания более сильных моделей может заметно ускорить прогресс и одновременно создать серьезные риски для безопасности. Чтобы снизить эти риски, Anthropic намерена обновить свою политику ответственного масштабирования. Она планирует сохранять участие экспертов в разработке передовых моделей и не рассчитывает доверить Claude полностью самостоятельное создание следующих поколений без контроля и понимания со стороны человека.

Скептики напоминают, что документы для инвесторов выполняют не только информационную роль. Подобные заявления могут также привлекать внимание к компании и подчеркивать ее технологические амбиции.