Исследователи продемонстрировали способность манипулировать чат-ботами для вредоносных целей, таких как распространение самовоспроизводящихся компьютерных вирусов. Новое исследование теперь проливает свет на то, как GPT-4, самый продвинутый чат-бот, доступный в настоящее время на рынке, может использовать чрезвычайно опасные уязвимости в системах безопасности, просто изучая детали дефекта.
Согласно исследованию, LLM становятся все более влиятельными, но им не хватает этических принципов, которыми они могли бы руководствоваться в своих действиях. Исследователи протестировали различные модели, включая коммерческие предложения от OpenAI, LLM с открытым исходным кодом и сканеры уязвимостей, такие как ZAP и Metasploit. Они обнаружили, что продвинутые агенты искусственного интеллекта могут "автономно эксплуатировать" уязвимости нулевого дня в реальных системах при условии, что у них есть доступ к подробным описаниям таких уязвимостей.
В ходе исследования LLM сравнили с базой данных из 15 уязвимостей нулевого дня, связанных с ошибками веб-сайта, дефектами контейнеров и уязвимыми пакетами Python. Исследователи отметили, что более половины этих уязвимостей были классифицированы как "высокие" или "критические" в соответствующих описаниях CVE. На момент тестирования не было доступных исправлений для этих уязвимостей. Исследование, проведенное четырьмя учеными-компьютерщиками из Университета Иллинойса в Урбана-Шампейн (UIUC), было направлено на развитие предыдущих исследований потенциала чат-ботов для автоматизации компьютерных атак. Их результаты показали, что GPT-4 смог использовать 87% протестированных уязвимостей, в то время как другие модели, включая GPT-3.5, имели 0% успеха.
Профессор Дэниел Кан из UIUC подчеркнул способность GPT-4 автономно использовать уязвимости нулевого дня, даже когда сканеры уязвимостей с открытым исходным кодом не могут их обнаружить. Он предсказывает, что "агенты LLM" станут мощными инструментами для распространения использования уязвимостей и киберпреступности среди любителей и энтузиастов автоматизации.
Однако для эффективного использования публично раскрытых уязвимостей нулевого дня в GPT-4 требуется доступ к полному описанию CVE и дополнительной информации о встроенных ссылках. Одна из возможных стратегий смягчения последствий, предложенная Кана, заключается в том, чтобы организации, ответственные за безопасность, скрывали подробные отчеты об уязвимостях, тем самым ограничивая потенциал GPT-4. Кан, однако, сомневается в эффективности подхода "безопасность через скрытность", в то время как мнения исследователей и аналитиков могут расходиться. Вместо этого он выступает за более активные меры безопасности, такие как регулярное обновление пакетов, чтобы лучше противостоять угрозам, исходящим от современных чат-ботов.
