Многие владельцы веб-сайтов, вероятно, не подозревают о том, что значительная часть трафика на их веб-сайты генерируется разного рода роботами. При этом оценить масштабы мусорного и потенциально опасного трафика довольно проблематично, поскольку ни Google Analytics, ни другие средства для сбора статистики такой трафик просто не учитывают.

Компания Incapsula провела мониторинг около 1000 веб-сайтов, каждый из которых посещают в месяц от 50000 до 100000 человек. Согласно полученным данным, около 51% трафика веб-сайтов составляет трафик, генерируемый различными роботами, причём до 31% всего трафика генерируется потенциально опасными программами.

Сайты, принадлежащие большим и малым компаниям, довольно часто подвергаются атакам со стороны автоматических инструментов для взлома. Целью работы таких инструментов является поиск уязвимостей, взлом и перехват сайтов, похищение данных и распространение вредоносного кода. По данным Incapsula, трафик, генерируемый инструментами для взлома, составляет 5% от общего объёма.

Другие 5% трафика генерируются программными сборщиками адресов электронной почты и контента - скрейперами. Большинство скрейперов регулярно просматривают форумы, новостные сайты и сайты, посвящённые путешествиям. Собранные скрейперами адреса электронной почты в дальнейшем используются для рассылки спама, а контент - для автоматического наполнения других сайтов.

Сайты, позволяющие оставлять комментарии, пользуются особой популярностью у спам-ботов. Если никакой защиты от спама на сайте, где разрешены комментарии, не установлено или защита достаточно слабая, сайт постепенно наполнится спамом и будет исключён поисковиками из результатов поиска. Трафик спам-ботов составляет около 2% от всего сетевого трафика.

Значительный объём трафика генерируется роботами, занимающимися маркетинговой разведкой и сбором различной тематической информации - такие роботы ответственны за появление 19% всего трафика.

Результаты исследования Incapsula свидетельствуют о том, что владельцам веб-сайтов и администраторам следует внимательно анализировать "неживой" трафик и блокировать нежелательных роботов.