Cloudflare представила новую функцию, которая позволяет клиентам онлайн-сервиса блокировать всех ботов с искусственным интеллектом всего в один клик. Компания реагирует на растущий спрос на контент для обучения моделей ИИ. Некоторые компании, занимающиеся искусственным интеллектом, четко маркируют своих ботов, занимающихся парсингом страниц. (Парсинг — это автоматизированный сбор и структурирование информации с сайтов при помощи программы или сервиса.)
Изображение: Cloudflare
Введение новой функции происходит на фоне различных сообщений об использовании контента без согласия создателей. Например, The New York Times и другие медиакомпании подали в суд на OpenAI, поскольку, как утверждается, производитель ChatGPT незаконно скопировал миллионы статей с помощью парсинга и использовал их для обучения своих моделей GPT. Актриса Скарлетт Йоханссон также заявила, что OpenAI без согласия использовала ее голос для нового личного виртуального помощника.

Анализ трафика в сети Cloudflare показал, что наиболее активными ИИ-сканерами являются Bytespider, Amazonbot, ClaudeBot и GPTBot. Bytespider, которым управляет ByteDance, компания, стоящая за TikTok, собирает данные обучения для своих больших языковых моделей (LLM), включая конкурента ChatGPT Doubao. Бот компании Amazon, предположительно используемый для индексации контента для функции вопросов и ответов Alexa, занял второе место по объему запросов.

Bytespider лидирует не только по количеству запросов, но и по степени сканирования интернет-страниц и частоте блокировок. Следом за ним идет GPTBot OpenAI, который собирает данные обучения для LLM, лежащих в основе таких продуктов на базе искусственного интеллекта, как ChatGPT.

По данным Cloudflare, многие клиенты, скорее всего, не знают, что самые популярные сканеры с искусственным интеллектом активно сканируют их сайты.

Анализ записей robots.txt 10 000 наиболее посещаемых интернет-доменов показал, что клиенты чаще всего ссылаются на GPTBot, CCBot и Google в robots.txt, но не исключают явным образом популярные ИИ-сканеры, такие как Bytespider и ClaudeBot. В июне боты с искусственным интеллектом получили доступ примерно к 39% из миллиона наиболее посещаемых веб-сайтов с помощью Cloudflare. Только 2,98% этих сайтов предприняли действия, чтобы заблокировать эти запросы.

Вот рейтинг наиболее распространенных ботов с искусственным интеллектом (в скобках указана доля посещенных веб-сайтов):

• Bytespider (40.40%)
• GPTBot (35.46%)
• ClaudeBot (11.17%)
• ImagesiftBot (8.75%)
• CCBot (2.14%)
• ChatGPT-User (1.84%)
• omgili (0.10%)
• Diffbot (0.08%)
• Claude-Web (0.04%)
• PerplexityBot (0.01%)