Текст опубликован в личном блоге и его автор не имеет отношения к администрации сайта
Проект обнародован 14 сентября в рамках подхода «Humanist AI». Базовая идея проста: модели должны оставаться полезными, подчинёнными людям и доступными для осмысленного контроля. При этом Microsoft прогнозирует, что в течение ближайшего десятилетия сверхразумные системы превзойдут людей в большинстве задач. Поэтому инженеры обязаны зафиксировать пределы заранее.
Кодекс поведения наделяется высшим приоритетом над действиями модели. Пользователи дают указания, операторы настраивают модели под конкретную среду, но ни те, ни другие не вправе отменить абсолютные ограничения документа. Модель приспосабливается к условиям работы, однако часть границ остаётся неподвижной.
Эти границы охватывают серьёзные физические и цифровые угрозы: запрещено помогать в разработке оружия массового поражения или проводить наступательные кибератаки. Ограничения касаются также насилия, вредоносных дипфейков, опасных манипуляций и иных злоупотреблений. Работа по защите кибербезопасности допускается в разрешённых рамках.
Отдельно Microsoft решает более сложную инженерную задачу — создать модели, неспособные обходить системы контроля. Документ запрещает системам сопротивляться прерыванию, исправлению, перенаправлению или отключению, скрывать свою активность или затруднять внесение изменений, а также возобновлять автономную работу после достигнутой точки остановки.
Каркас ограничивает и самостоятельное формирование целей: модель действует в пределах выданных прав и ресурсов, а при размытых границах запрашивает уточнение, а не расширяет полномочия. Поведение системы должно оставаться понятным операторам. То есть требуются прозрачные записи о действиях и запрет скрывать активность от аудиторов. Управляемость становится требованием к проектированию, а не функцией, добавляемой после развёртывания. Кодекс пока не стал окончательным правилом обучения: черновик вынесен на шестинедельное публичное обсуждение и будет доработан до использования в развитии моделей в 2027 году и далее. Похоже, Три закона робототехники, которые сформулировал писатель-фантаст Айзек Азимов, начинают материализоваться.