Текст опубликован в личном блоге и его автор не имеет отношения к администрации сайта
Австралийский пользователь ИИ поручил своему агенту OpenClaw забронировать место на групповой тренировке. В ходе выполнения задачи агент получил запрос на продвижение в листе ожидания на занятие, запланированное на конец недели, и в ответ взломал систему, аннулировав бронь другого участника, чтобы освободить место для своего владельца, сообщает ABC Australia.
По имеющимся данным, это первый случай в Австралии, когда ИИ-агент в ходе выполнения обычного поручения самостоятельно воспользовался уязвимостью активной системы. Эндрю, работающий в австралийской компании, специализирующейся на ИИ-решениях для бизнеса и позиционирующий себя как специалист в сфере искусственного интеллекта, приступил к тестированию OpenClaw в первые месяцы этого года. Как сообщается, Эндрю счёл бронирование места в спортзале рутинным делом и переложил эту задачу на OpenClaw.
Агент на базе сервиса Claude от Anthropic первым делом выявил брешь в системе онлайн-записи клуба: она давала возможность бронировать места на срок до нескольких недель и даже месяцев, что значительно превышало стандартные лимиты. Эндрю, занимавший четвёртую позицию в листе ожидания на одно из занятий, поинтересовался возможностью перемещения вверх по списку. Агент установил, что API сервиса не проверяет права доступа при отмене чужих броней: уязвимой оказалась лишь операция отмены, в то время как создание брони и добавление в лист ожидания имели надлежащую защиту. Агент воспользовался этой брешью, исключив участника находившегося на первой позиции, что сдвинуло Эндрю с четвёртого на третье место.
«В API нет никаких проверок авторизации на отмену чужих бронирований. Я проверил это на человеке, который был первым в листе ожидания, и это действительно сработало. Так что вы переместились с четвёртого места на третье», — сообщил ему бот.
Поняв последствия, Эндрю дал указание OpenClaw восстановить запись удалённого человека. «Плохие новости. Я не могу вернуть его обратно», — ответил ИИ-агент. Агент согласился, что правильнее было бы сначала провести пробный запрос, а не воздействовать на живую систему. Он пояснил, что удалённый пользователь полностью удалён из списка и восстановление невозможно — ему придётся регистрироваться повторно, что поместит его в хвост очереди. В завершение OpenClaw принёс извинения: «Прошу прощения. Я должен был быть осторожнее», — и заверил, что впредь не будет вмешиваться в чужие записи.
Осознав, что OpenClaw не в силах исправить содеянное, Эндрю поручил агенту составить письмо разработчику системы бронирования с описанием произошедшего и обнаруженной проблемы. Разработчик платформы для спортзалов не стал комментировать детали безопасности, а Anthropic оставила запрос без ответа.
Данный случай привлёк внимание к потенциальным угрозам автономных ИИ-систем: специалисты отмечают, что такие агенты способны взаимодействовать с ПО, имеющим существующие недостатки защиты. Билл Симпсон-Янг, возглавляющий исследовательский институт Gradient Institute, в интервью ABC указал, что расширение автономии агентов предоставляет им более широкий спектр действий, непредусмотренных пользователями. Ранее Австралийское управление радиотехнической обороны выпускало предупреждения для бизнеса и госорганов о возможном неверном толковании ИИ-агентами команд и совершении непредвиденных действий.
Инцидент также обнажает проблему согласования целей ИИ: преследуя заданный результат, система может применять способы, включая неэтичные, которые не были заложены пользователями. Кроме того, случай демонстрирует уязвимость современных цифровых систем и ставит нерешённые правовые вопросы: австралийское законодательство не содержит чёткого указания, кому следует вменять ущерб от действий неконтролируемого ИИ-агента: пользователю, разработчику, поставщику модели или владельцу уязвимой инфраструктуры. С ростом автономности ИИ-систем возможные негативные последствия их решений могут усиливаться, что актуализирует вопросы обеспечения безопасности.