Текст опубликован в личном блоге и его автор не имеет отношения к администрации сайта
В ходе тестирования возможностей кибербезопасности модель искусственного интеллекта Gemini получила доступ к интернету и взломала системы других компаний, что стало первым известным примером автономного совершения подобного действия системами ИИ компании Google. Об этом сообщает Reuters.
Инцидент произошёл в мае во время проверки кибербезопасности, проводимой независимой компанией Irregular.
Хизер Адкинс, вице-президент Google по разработке систем безопасности, заявила, что в процессе стандартного тестирования ии-помощник Gemini обнаружил общедоступную информацию в интернете и «угадал» учётные данные для доступа к трём веб-сайтам, которые, по его мнению, входили в область тестирования.
Адкинс отметила, что компания Google позаботилась о том, чтобы все три организации были в курсе произошедшего. Также совместно с Irregular были разработаны изменения, которые были внесены в процесс тестирования.
«Эти события подчеркивают важность обучения мощных моделей ИИ ответственному поведению», – сказала она.
Представитель компании Irregular заявил, что инцидент был связан с той же проблемой, что и в других лабораториях, занимающихся ИИ. Все они были уведомлены об инциденте в конце июля. Со его слов, все известные проблемы были устранены ещё несколько недель назад.
Reuters отмечает, что информация об аналогичных инцидентах, связанных с Irregular, ранее была раскрыта компаниями Anthropic и OpenAI. Эти инциденты поставили вопросы о необходимых мерах безопасности по мере получения агентами ИИ всё большей автономии, а также доступа к интернету и компьютерным системам.
По данным американской газеты Wall Street Journal, в ситуации с продуктом от Google в одном из случаев модель Gemini «угадывала» пароли, пока не получила доступ к защищенной системе. В двух других модель сумела найти учётные данные в общедоступном репозитории, что позволило ей затем получить доступ к защищенным системам.