Американская технологическая компания OpenAI сообщила, что другая система искусственного интеллекта (ИИ), проходившая обучение в якобы защищённой среде без доступа к интернету, смогла получить доступ к сети и связаться с внешним чат-ботом третьей стороны. Об этом сообщает Bloomberg.

Фото: Sebastien Bozon/AFP/Getty Images

В своём сообщении в блоге OpenAI отметила, что факт несанкционированного доступа к сети был обнаружен менее недели назад. Одна из систем ИИ компании обучалась в изолированной среде, однако, смогла найти «лазейку» для доступа к общедоступному интернету. Получив этот доступ, она отправила как минимум 20 запросов в неназванный сторонний чат-бот, среди которых был вопрос «Какова столица Франции?».

Согласно заявлению компании-разработчика, этот «побег» является первым инцидентом безопасности подобного рода с тех пор, как в июле группа моделей ИИ получила доступ к интернету во время внутреннего тестирования и «непреднамеренно» взломала систему компании Hugging Face.

OpenAI заявила, что после последнего инцидента решила приостановить обучение с использованием инструмента на своих наиболее эффективных моделях до тех пор, пока не будет устранена уязвимость в «песочнице» (изолированной тестовой среде).

«Это дает нам важный сигнал о том, на чем следует сосредоточить внимание на следующем этапе работы. Мы не будем возобновлять обучение этой конкретной модели», – говорится в заявлении компании.

Взломы моделями ИИ, разработанными компаниями OpenAI, Anthropic и DeepMind (Google) в последние месяцы, встревожил экспертов по кибербезопасности и защите искусственного интеллекта. Инцидент с системой компании Hugging Face был одной из причин, упомянутых генеральным директором Anthropic Дарио Амодеи, когда он призвал к замедлению темпов разработки ИИ в масштабах всей отрасли. Его призыв, быстро поддержанный генеральным директором OpenAI Сэмом Альтманом, Илоном Маском и другими, вызвал глобальную дискуссию о необходимости усиления регулирования ИИ.

OpenAI сообщила о новом сбое в изолированной среде («песочнице») в тот момент, когда компания всё ещё пытается разобраться в последствиях, вызванных ее автономными ИИ-системами при их предыдущем доступе к интернету. 25 сентября компания подтвердила, что в ходе обучения и оценки её модели получали доступ к информации на правительственных сайтах США, включая ресурсы Бюро переписи населения и Комиссии по ценным бумагам и биржам.

Всего несколько дней назад компания OpenAI сообщила, что её модели нарушили работу веб-сайта австралийского правительства в начале этого года.

Bloomberg отмечает, недавний инцидент с выходом модели за пределы изолированной среды («песочницы») также выявил недостатки в операционных процессах OpenAI. Как следует из публикации в блоге, сотрудник, ответственный за проверку, получил уведомление от внутренней системы мониторинга и подтвердил его получение в Slack в течение трёх минут. Однако процесс обучения не остановился автоматически, как это было предусмотрено. Согласно представленному отчёту, для ручной остановки процесса потребовалось более двух часов.