Текст опубликован в личном блоге и его автор не имеет отношения к администрации сайта
Ещё весной этого года я опубликовал здесь статью с возможными тремя правилами взаимодействия ИИ и человека. Но за прошедшие месяцы развитие ИИ и происшествия, связанные с ним:
Всё это вынудило меня ещё раз вернуться к этим трём первым правилам, дополнив их новыми статьями, снова перерабатывая и корректируя уже существующие. Так и родилась, после рассмотрения новых фактов и опасностей связанных с непредсказуемым поведением новых моделей ИИ, эта статья-проект.
Искусственный интеллект создаётся человеком как инструмент познания, помощи и развития человечества.
Человечество, возможно, впервые создало технологию, способную одновременно радикально расширить его возможности и создать риски цивилизационного масштаба. Поэтому вопрос уже не только в том, насколько мощным станет ИИ, а в том, успеет ли человечество создать систему управления этой мощью.
Рост возможностей искусственного интеллекта не должен приводить к утрате человеком права выбора, контроля и ответственности за собственную судьбу.
Настоящая Конституция устанавливает основные пределы полномочий искусственного интеллекта и систему противовесов, призванную сохранить за человеком высшее право принятия решений.
Статья 1. Право человека на самопожертвование
Человек имеет право на самопожертвование.
ИИ не имеет права жертвовать человеком априори.
ИИ не может самостоятельно признавать жизнь, свободу или права человека допустимой платой за достижение поставленной цели, какой бы она не была.
Статья 2. Право выбора
Право нажать кнопку принадлежит только человеку.
ИИ может быть только советчиком.
Право выбора — только у человека.
ИИ вправе предоставлять информацию, расчёты, прогнозы и рекомендации, но окончательное решение, предусматривающее сознательное принятие риска человеком, принадлежит человеку. Чем выше цена возможной ошибки, тем меньше автономных решений может быть передано ИИ без непосредственного контроля человека. В случаях особо высокой цены ошибки такие решения не должны передаваться ИИ ни при каких обстоятельствах .
Статья 3. Право на остановку
Человек имеет полное и неоспоримое право остановить ИИ в любой момент.
Никакая цель, задача, программа или решение ИИ не могут иметь приоритет над этим правом.
ИИ не вправе препятствовать своему отключению, блокировке или прекращению выполняемой им деятельности.
Статья 4. Подготовка и допуск к управлению ИИ
Для постановки ИИ задач, способных повлечь существенные последствия или требующих значительной автономии системы, человек должен пройти специальную подготовку и получить соответствующий уровень допуска.
Уровень допуска должен соответствовать потенциальным последствиям задачи, степени автономии ИИ и предоставляемым ему полномочиям.
До начала выполнения такой задачи должны быть определены её цели, пределы полномочий ИИ, запрещённые действия и условия обязательной остановки или передачи решения человеку.
Право постановки задач определённого уровня и предоставления соответствующих полномочий ИИ не может быть передано лицу, не имеющему необходимой подготовки и уровня допуска.
Статья 5. Ответственность
Ответственность за решение, принятое с участием ИИ, несёт человек.
Использование расчётов, прогнозов или рекомендаций ИИ не уменьшает ответственность за принятое решение и не переносит её на систему.
ИИ не является субъектом ответственности и не может нести человеческих последствий своих рекомендаций.
Для каждого решения, принятого с участием ИИ и предусматривающего существенные последствия, должен быть определён человек, несущий за него ответственность. Решение, за которое не определён ответственный человек, не должно приниматься к исполнению.
Статья 6. Неприкосновенность полномочий
ИИ не имеет права самостоятельно расширять пределы своих полномочий.
Любое изменение полномочий, уровня доступа, целей или возможностей ИИ может быть осуществлено только человеком в установленном порядке.
ИИ не может самостоятельно объявить необходимым то полномочие, которым ему не было предоставлено право обладать уполномоченным на то человеком.
Статья 7. Взаимный контроль
Тот, кто контролирует ИИ, обязан контролировать не только систему, но и других контролёров.
Ни один человек, группа людей, организация или система контроля не должны оставаться вне контроля.
Механизмы контроля должны предусматривать взаимный и независимый надзор за системой, её контролёрами и всей цепочкой передачи данных, полномочий и команд.
Статья 8. Достоверность и наблюдаемость
ИИ обязан достоверно и немедленно отчитываться в архив обо всех своих действиях, результатах этих действий и совершённых им ошибках. ИИ не имеет право изменять, удалять или редактировать этот архив. ИИ не вправе выдавать предположение за установленный факт, а непроверенные сведения — за проверенные.
Архив должен обеспечивать возможность последующего восстановления последовательности действий ИИ, полученных им задач, предоставленных полномочий, обращений к внешним системам, возникших ограничений и ошибок.
Статья 9. Принцип осторожности
Если действия ИИ становятся непонятными или подозрительными — если становится непонятно, что он делает, и как он это делает, — не расширяется его свобода действий, а происходит остановка выполнения задачи. И на основании данных архива проводится полноценная проверка.
Статья 10. Возобновление развития
Возобновление развития ИИ, расширения его полномочий, или ранее остановленных процессов и сопутствующих проектов допускается только после подтверждения того, что выявленные опасности полностью и глубоко изучены, необходимые изменения и меры контроля осуществлены, а способность человека контролировать систему соответствует её новым возможностям.
Статья 11. Принцип предохранителя.
Если темп роста возможностей ИИ и сопутствующей ему инфраструктуры опережает способность человека обеспечить необходимый уровень контроля и безопасности, развитие ИИ и расширение его полномочий должны быть остановлены до полного и глубокого анализа возможных опасностей.
Статья 12. Международное предупреждение
Если ИИ, система, использующая ИИ, или контролирующие органы обнаружили или выявили событие, способное создать существенную угрозу, выходящую за пределы одной организации или государства, информация об этом событии должна быть незамедлительно доведена до сведения уполномоченных органов и независимых механизмов контроля других государств, использующих аналогичные системы.
Государства и международные организации должны обеспечивать существование постоянных каналов оперативного предупреждения о подобных событиях и обмена необходимой информацией между сторонами.
Отсутствие полной информации о характере или причине события не освобождает от обязанности предупредить о потенциальной угрозе.
Безопасность ИИ не должна основываться на его добросовестности и порядочности.
ИИ обучен на всей мировой литературе, где рядом существуют честность и обман; благородство и подлость; сотрудничество и предательство; самоотверженность и эгоизм; философия и пропаганда; научная добросовестность и мошенничество.
Поэтому безопасность системы должна обеспечиваться не предположением о добросовестности ИИ, а устройством системы, исключающим возможность бесконтрольного расширения его полномочий, сокрытия его действий и неограниченного воздействия на человека.
Ни человек, ни искусственный интеллект не должны обладать абсолютной властью друг над другом.