Перейти к содержимому
Пн. – Пт.: с 09:00 до 18:00 +7 (495) 150-85-67 ОСТАВИТЬ ЗАЯВКУ

Боты на сайте: как отличить от людей и очистить статистику

В 2024 году автоматический трафик в интернете впервые перевесил человеческий: около 51% всех посещений создали программы, причём 37 процентных пунктов из них дали вредоносные боты и только 14 полезные. Для владельца ресурса смысл простой. Примерно каждый второй визит в сырых логах оставил не человек. Вопрос не в том, есть ли у вас боты на сайте - они есть. Вопрос в том, сколько их в отчётах, какие решения вы принимаете по испорченным данным и что можно заблокировать, не задев живых пользователей. Активность автоматики продолжает расти, поэтому разовой чистки мало.

Коротко

  • Деление на хороших ботов и плохих условное. Полезнее другой признак: этого робота вы подключили сами или он пришёл без приглашения. Хороший бот тоже даёт нагрузку.
  • Главный расход для бизнеса не нагрузка, а искажённая информация: по ней считают конверсию, отказы и эффективность контекстной рекламы.
  • В Яндекс Метрике есть отчёт «Роботы» и режим «Данные: без роботов». Опция «Фильтровать роботов по поведению» необратима.
  • Принадлежность поискового робота определяют обратным DNS-запросом по логам, а не списком адресов: Яндекс свои IP не публикует.
  • Опасна не чистка, а грубая чистка. Блокировка по IP, жёсткая капча на входе и ошибки в robots.txt отрезают людей и поисковые системы быстрее, чем ботов.

Какие боты заходят на сайт: полезные и вредоносные

Бот - программа, которая обращается к страницам ресурса без участия человека. Виды ботов удобно разделить не по характеру, а по цели использования и по тому, звали вы их или нет. Этот признак сразу даёт понять, какой вид автоматики полезен владельцу, а какой вреден.

Схема: какие боты на сайте искажают статистику и чем проверить каждый случай

Полезные, или хорошие, боты нужны вам самим. Это основные поисковые краулеры Яндекса и Google, роботы социальных сетей, которые собирают картинку и текст для превью ссылки, специальные сервисы мониторинга доступности. Ещё один обычный пример - помощник в чате. Бот отвечает. Вопросы сложнее он передаёт оператору, а простые закрывает информацией из базы знаний, и это позволяет снизить нагрузку на отдел продаж. Такой помощник помогает и в продажах: быстрый ответ повышает конверсию страницы.

Вредоносные боты приходят сами. Парсер собирает каталог, цены и контент для чужого ресурса. Спам-боты отправляют формы с несуществующими телефонами. Сканеры безопасности перебирают адреса админки и старые плагины CMS, ищут уязвимость в установке и в настройках безопасности. Роботы подбора паролей бьют по странице входа. Клик-боты занимаются скликиванием: такие боты приводят к расходу рекламного бюджета без продаж. Отдельно стоит защита от DDoS: атака такого вида не собирает информацию, её цель - количество запросов, которое сервер не выдержит. Сложные боты маскируются под живого посетителя, и простой блокировкой их не остановить.

Роботность - доля визитов, которые система аналитики определила как роботные. В Яндекс Метрике это отдельный показатель и отдельный отчёт, а не выключатель «пускать ботов или нет».

Есть ещё один вид, про который спрашивают чаще всего: роботы нейросетевых сервисов, которые читают текст сайта для обучения моделей и для ответов в чатах. Для одних компаний это начало нового канала обращений, для других просто загрузка сервера. Решение зависит от стратегии, и мы разбираем его в материале про продвижение в нейросетях.

Почему боты - проблема для бизнеса

Самое заметное последствие техническое. Растёт нагрузка, сервер отвечает ошибкой 500 или 502, поисковый робот в этот момент получает недоступные страницы и снижает скорость обхода. Это лечится настройками сервера. Дороже обходится другое: боты ничего не ломают, а просто сидят в отчётах и дают искажённую информацию.

Условный пример. В Метрике 4 000 визитов за месяц, отказы 62%, средняя длительность 25 секунд, конверсия 0,9%. Похоже на проблему посадочной страницы, и команда идёт её переделывать. Но если 1 100 визитов роботные, то по живым пользователям картина другая: 2 900 визитов, отказы около 48%, конверсия 1,2%. Страница нормальная, работать надо с источниками трафика. Порядок искажения мы регулярно видим в аудитах именно такой. Это простой пример того, как роботные посетители меняют выводы.

Дальше ломается всё, что считается от этих цифр: цена обращения, эффективность канала, выводы A/B-тестов, обучение автостратегий. Спам-заявки отдельно съедают время менеджеров: фальшивый номер обрабатывается так же долго, как реальный. А сбор прайса конкурентом - уже не аналитика, а коммерческий риск.

Важно. Не путайте роботный трафик с некачественным. Живой пользователь, который пришёл по нерелевантному запросу и ушёл через 5 секунд, - не бот, и фильтрация роботов его не уберёт. Разница важная: это задача семантики и объявлений, про неё отдельный материал про качество трафика.

Не понимаете, сколько в вашей статистике живых пользователей, а сколько роботов

Как проверить, кто у вас на сайте: признаки бота

Один признак ничего не доказывает: у пользователя может быть старый браузер и странный маршрут. Обратите внимание на сочетание трёх и более пунктов на одном срезе данных. Проверяйте несколько признаков вместе, иначе под подозрение попадут живые пользователи.

Чек-лист признаков ботов на сайте в Яндекс Метрике и логах сервера
  • Всплеск без причины. Трафик вырос в разы, при этом не менялись реклама, рассылки и позиции в поисковой выдаче.
  • Нулевая длительность. Много посещений с одним просмотром и временем 0-2 секунды. Отказом в Метрике считается визит с одним просмотром короче 15 секунд.
  • Один адрес входа. Сотни визитов строго на одну страницу, часто с параметром или на несуществующий раздел.
  • Однородная техника. Одно разрешение экрана, одна версия браузера, одна операционная система у большой группы визитов.
  • География не ваша. Регионы, где вы не работаете и не показываете рекламу.
  • Ровные интервалы. Визиты приходят через одинаковые промежутки, в том числе ночью, без суточного профиля живой аудитории.
  • Поведение в Вебвизоре. Мгновенная прокрутка, нет движений курсора, клики точно в одну координату, длинные паузы.
  • Заявки без признаков человека. Форма заполнена быстрее, чем можно напечатать, телефона не существует, в комментарии ссылка.

Из практики. Соберите один раз сегмент «подозрительные визиты» по 3-4 техническим условиям и сохраните его. Дальше вы просто сравниваете два сегмента, а не перебираете отчёты заново. Такой сегмент легко переключать на любой период и накладывать на отчёты по источникам - способ простой, а экономит часы на каждом разборе.

Роботность в Яндекс Метрике: данные без роботов

Метрика фильтрует запросы. Бот, который честно называет себя в заголовке пользовательского агента, исключается из статистики сразу. Тех, кто маскируется, система определяет по поведению и техническим сигналам, и такие визиты по умолчанию в отчётах остаются.

  1. Отчёт «Роботы». Показывает роботные действия с разбивкой по правилам фильтрации. Поведенческие правила идут отдельной строкой, остальные по имени робота из заголовка пользовательский агент. Есть и техническое правило «отфильтрованы по отсутствию JS и Referer».
  2. Режим «Данные: без роботов». Переключается в самом отчёте, рядом доступно сравнение с данными с роботами. Наиболее быстрый способ увидеть разницу в отказах и конверсии.
  3. Сегментация. Если нужно сравнить людей и роботов в одном отчёте, вопрос решается сегментом, а не настройкой счётчика.
  4. Отчёт «Нагрузка на сайт». Когда ресурс начал тормозить, сначала ищите всплеск здесь, а потом открывайте «Роботы» за тот же период и смотрите имена.

В API Метрики есть ещё один показатель роботности: он определяет роботов не только по поведению на сайте, но и по данным антифрода Яндекс Рекламы. Показатель доступен с 19 апреля 2025 года и нужен в основном тем, кто выгружает неагрегированные данные через Logs API или строит интеграцию аналитики с CRM. Интеграция настраивается один раз, дальше данные приходят уже без роботов.

Важно. Опция «Фильтровать роботов по поведению» в настройках счётчика удаляет такие визиты из исходных данных навсегда. После включения вы не сможете менять отображение статистики с роботами и без них, а дополнительная настройка фильтрации станет недоступна. На информацию, собранную до включения, настройка не влияет. Это дополнительное ограничение, о котором часто узнают поздно, поэтому включайте осознанно.

В Google Analytics 4 выбора нет: исключение трафика известных роботов работает по умолчанию, отключить его нельзя, и количество отфильтрованных обращений вы не увидите. Фильтр использует собственные данные Google и список Interactive Advertising Bureau, то есть ловит в основном тех, кто сам себя объявил. Дополнительных настроек у него нет. Разницу между системами мы разбираем в материале про поведенческие факторы в Яндексе и Google.

Логи сервера и проверка IP-адреса робота

Счётчик видит только тех, у кого исполнился JavaScript. Боты, которые получают HTML напрямую, в Метрику не попадают вообще, их видно лишь в логах веб-сервера. Поэтому точный анализ начинается с логов доступа: смотрят самые активные адреса за сутки, частоту запросов с каждого и значение пользовательского агента. Анализировать логи нужно за несколько дней, иначе картина получится случайная.

Дальше нужен ответ на главный вопрос: это настоящий поисковый робот или кто-то им представился. Проверка одна для обеих систем и называется обратный DNS-запрос: по адресу из логов определяют имя хоста, затем по имени запрашивают адрес обратно и сверяют с исходным.

  • Яндекс. Имена хостов его роботов должны заканчиваться на yandex.ru, yandex.net или yandex.com. Другое окончание - не Яндекс. Списков своих адресов Яндекс не публикует: сети меняются, поэтому проверка по DNS надёжнее. Для разовых случаев в Яндекс Вебмастере есть бесплатный инструмент проверки IP. Адреса удобно проверять вручную, пока их немного.
  • Google. Имена хостов оканчиваются на googlebot.com, google.com или googleusercontent.com. Здесь диапазоны адресов опубликованы в машиночитаемых файлах отдельно для основных краулеров, для роботов рекламы и для запросов, инициированных пользователем. Это удобно, когда проверок много и процесс надо автоматизировать.

Если по обратному DNS имя не определяется или не сходится с заявленным агентом, обращение можно считать посторонним и ограничивать.

Боты в рекламе: недействительные клики и спам в заявках

В Яндекс Директе работает собственная система защиты. Обращения, которые она относит к недействительному трафику, исключаются из статистики рекламной кампании, и оплата за них не списывается, а фродовые конверсии не идут в обучение автостратегий. Антифрод может не показать объявление подозрительному роботу ещё до клика либо вывести капчу, если клик выглядит сомнительно. Списанные деньги в большинстве случаев возвращаются на баланс автоматически.

Отсюда два следствия, которые путают чаще всего. Первое: цифры в Метрике и в отчётах Директа по одному периоду могут не совпадать, потому что Вебвизор и CRM показывают все посещения, в том числе уже отфильтрованные из рекламной статистики. Второе: недействительным трафиком не считаются визиты и заявки от реальных, но нецелевых людей, повторные конверсии в разных визитах и просто неверно указанный телефон. Если спорный период всё же нашёлся, в обращении в поддержку нужны идентификатор кампании, период, номер счётчика Метрики и отчёты, которые вы анализировали; конверсии проверяются только за последние 30 дней. Отфильтрованные показы, клики и конверсии видны в отчёте по недействительному трафику в библиотеке отчётов, он доступен всем рекламодателям.

Запомнить

  • Счётчик и логи содержат разные множества ботов. Для анализа нужны оба источника информации.
  • Расхождение данных Метрики и Директа само по себе не ошибка настройки.
  • Фильтрация роботов в аналитике не возвращает деньги за клики, это различные механизмы.
  • Файлы логов храните не меньше месяца: без них разбирать прошлый всплеск нечем.

Методы защиты от ботов и цена ошибки

Универсального выключателя не существует. Есть набор инструментов, и у каждого своя цена ошибки. Сначала определите, что именно мешает: нагрузка, спам в формах, сбор контента или искажённая статистика. Выбирайте метод под конкретную проблему, а выбрать проще, когда ущерб посчитан. Правило простое: сначала измерение, потом защита. Боты редко уходят с первого фильтра.

Сравнение методов защиты от ботов на сайте: против кого работают и какой риск задеть людей
Метод защитыПротив кого работаетРиск задеть пользователей
Файл robots.txtТолько вежливые боты, которые его читаютВысокий при ошибке: раздел выпадает из индекса
Скорость обхода в ВебмастереПоисковый робот Яндекса при нагрузкеНизкий, но малая скорость замедляет индексацию
Капча на формахСпам-боты и автозаполнениеСредний: на входе режет конверсию, на формах почти нет
Скрытая ловушка в формеПростые автозаполнителиНизкий, человек её не видит
Ограничение частоты запросовПарсеры и перебор паролейСредний: можно задеть офисную сеть с общим адресом
Защита на стороне хостингаDDoS и массовые сканерыНизкий при корректной настройке
Блокировка адресов вручнуюОдин источник здесь и сейчасВысокий: адреса меняются, под блокировку попадают люди

Базовая защита: robots.txt, капча, ловушка

Директиву Crawl-delay основной робот Яндекса не учитывает с 2018 года: частоту обращений задают настройкой скорости обхода в Вебмастере. Для робота рекламной сети директива работает, и без неё минимальная пауза составляет 2 секунды. Капча - проверка, которую человек проходит легко, а программа нет; её место на формах, а не на входе в сайт. Скрытая ловушка - поле или ссылка, невидимые человеку: заполнили или перешли, значит, перед вами бот. Приём простой и бесплатный, но продвинутые боты используют анализ стилей страницы и его обходят. Переход по невидимой ссылке - надёжный признак программы.

Защита на стороне сервера и сервиса хостинга

Ограничение частоты запросов и проверка трафика на уровне хостинга закрывают массовые случаи: перебор паролей, сбор каталога, DDoS. Многим проектам этого достаточно, отдельное специальное решение нужно, когда атаки регулярные. Создание такой системы защиты с нуля обычно дороже, чем подключить готовую функцию у провайдера. Здесь помогает поддержка хостинга: у неё больше данных о трафике, чем у вас. Создание собственных правил имеет смысл, когда атаки повторяются из месяца в месяц.

Почему защита по IP-адресу работает плохо

Блокировка по IP. Адреса меняются, часть пользователей сидит за общим адресом офиса или использует VPN. В итоге вы теряете людей, а робот возвращается с нового адреса через час. Это не борьба, боты никуда не исчезнут, это управление доступом. Блокировать стоит точечно и на время: блокировать адреса пачками - худшее, что можно сделать с живой аудиторией. Эффективный способ здесь другой: ограничение частоты плюс проверка на стороне сервиса хостинга. Ошибка в robots.txt обходится ещё дороже: закрытый от поисковой системы раздел теряет видимость, и чаще всего это находит технический аудит.

Из практики. Любая защита от ботов - сильнодействующее средство, и важен не сам факт её применения, а доза и повод. Жёсткая капча на входе и блокировка по странам «на всякий случай» вырезают часть живых обращений, а заметно это становится через месяц, когда падает количество заявок. Сначала измеряйте, потом фильтруйте, и после каждого изменения сверяйте число заявок и продаж.

Нужно отсечь спам-заявки и роботов, не потеряв живые обращения

Боты и поведение пользователей: что видит поиск

Поведение пользователей поисковые системы учитывают при ранжировании, а их алгоритмы построены на машинном обучении и больших массивах данных. Отсюда закономерный вопрос: портят ли роботы поведенческие факторы.

Разделим два случая. Обычные боты - парсеры, сканеры, краулеры - на сигналы ранжирования почти не влияют: поисковая система анализирует поведение по своим данным и фильтрует автоматику на своей стороне, а не по вашему счётчику. Второй случай - когда программа целенаправленно повторяет обычные действия человека. Это уже не фоновый шум, и разбирается отдельно: механика описана в обзоре накрутки поведенческих факторов, признаки чужого вмешательства - в материале про накрутку ПФ конкурентами, логика распознавания - в статье о том, как поисковые системы определяют накрутку.

Практический вывод: прежде чем делать выводы по отказам и времени на сайте, уберите роботов из выборки. Иначе вы будете улучшать показатель, который испорчен не юзабилити, а автоматикой. Нормы и способы работы с ним - в материале про показатель отказов.

Ошибки в работе с ботами: кейсы и примеры

В аудитах мы чаще видим не отсутствие защиты, а её неудачное использование.

  • Включили необратимый фильтр и потеряли базу сравнения. Данные стали чище, но объяснить, что изменилось в поведении людей, уже нельзя: не с чем сравнивать.
  • Заблокировали подозрительный агент, а это был поисковый робот. Проверить обратным DNS можно за минуту, и вопрос снимается.
  • Поставили капчу на всё, включая первый экран. Роботов стало меньше, заявок тоже.
  • Сравнили период до фильтрации с периодом после. Падение в отчёте приняли за падение спроса и урезали бюджет.
  • Чистят статистику, но не чистят источники. Если площадка стабильно приводит роботов, её отключают в настройках кампании, а не прячут в отчёте.

Заключение: данные, бизнес и порядок действий

Боты - постоянная часть интернета, и полностью убрать их возможности нет. Реальная задача владельца другая: знать свою роботность, принимать решения по чистым данным и не терять пользователей на фильтрах. Порядок шагов такой: измерить долю роботов в Метрике, посмотреть логи и проверить IP активных роботов, отделить спам-заявки от нецелевых обращений, выбрать методы защиты под конкретную проблему, через месяц сверить количество заявок и продаж.

Частые вопросы

Как быстро понять, есть ли боты на сайте?

Откройте в Яндекс Метрике отчёт «Роботы» за месяц и переключите отчёт по трафику в режим без роботов. Если доля роботности заметная, а отказы и конверсия между режимами различаются ощутимо, нужен разбор. Для ботов, которые не исполняют JavaScript, дополнительно смотрят логи сервера.

Боты понижают сайт в поисковой выдаче?

Фоновая активность парсеров и сканеров сама по себе к понижению не ведёт. Повредить может её следствие: недоступность ресурса, ошибки 500 и 502 в момент обхода, медленный ответ. Поэтому сначала решают вопрос нагрузки, а потом статистики.

Можно ли полностью убрать роботов из отчётов Метрики?

Полностью исключить роботов, определённых по поведению, можно только в неагрегированных данных через Logs API либо включив в настройках счётчика необратимую фильтрацию по поведению. В обычных отчётах используют режимы отображения и сегменты.

Чем отличается бот от нецелевого посетителя?

Бот - программа, нецелевой посетитель - человек, которому ваш товар или услуга не подходит. Первого убирают фильтрами, второго - семантикой, объявлениями и настройками показов. Инструменты различные, и путать их дорого.

Нужно ли платить за сервис защиты от ботов?

Зависит от задачи. Если проблема в спаме форм, часто достаточно капчи и скрытой ловушки. Если это регулярные атаки или сбор каталога, нужны средства на уровне хостинга или отдельное решение. Начинайте с оценки ущерба: сколько заявок, бюджета и времени вы теряете за месяц.

Метрика и Директ показывают разные цифры, это ошибка?

Не обязательно. Недействительный трафик исключается из статистики Директа, а Вебвизор и CRM показывают все визиты, включая отфильтрованные. Сверять стоит динамику и конверсию, а не абсолютные числа строка в строку.

Входит ли разбор ботов в SEO-работы?

Да, анализ источников трафика и ответов сервера - часть технической оптимизации, которая входит в любой наш тариф, а правки вносит агентство. Отдельно это можно заказать как аудит сайта от 20 000 ₽ со сроком 7-14 рабочих дней.

Проверим, кто на самом деле ходит по вашему сайту

Разберём роботность в Метрике, логи сервера, спам в формах и качество рекламного трафика, покажем, какую информацию можно использовать для решений, а какую нет. SEO-аудит сайта от 20 000 ₽, срок 7-14 рабочих дней, разбор результатов со специалистом входит в стоимость.

Источники

  1. Tan P.-N., Kumar V. Discovery of Web Robot Sessions Based on their Navigational Patterns // Data Mining and Knowledge Discovery. 2002. Vol. 6, № 1. P. 9-35.
  2. Doran D., Gokhale S. S. Web robot detection techniques: overview and limitations // Data Mining and Knowledge Discovery. 2011. Vol. 22, № 1-2. P. 183-210.
  3. Stassopoulou A., Dikaiakos M. D. Web robot detection: A probabilistic reasoning approach // Computer Networks. 2009. Vol. 53, № 3. P. 265-278.
  4. von Ahn L., Blum M., Hopper N. J., Langford J. CAPTCHA: Using Hard AI Problems for Security // Advances in Cryptology - EUROCRYPT 2003. Berlin: Springer, 2003. (Lecture Notes in Computer Science, vol. 2656). P. 294-311.
  5. Jansen B. J. Click fraud // Computer. 2007. Vol. 40, № 7. P. 85-86.
  6. Manning C. D., Raghavan P., Schütze H. Introduction to Information Retrieval. Cambridge: Cambridge University Press, 2008. 506 p.
  7. Кошик А. Веб-аналитика 2.0 на практике. Тонкости и лучшие методики. М.: Диалектика, 2011. 528 с.

Закажите SEO-продвижение сайта и получите экспресс-аудит в подарок!

Вы получите до 30 слайдов с предложениями по оптимизации и повышению эффективности вашего сайта

Заказать аудит

Контакты RubikMedia

+7 (495) 150-85-67 mail@rubikmedia.ru г. Москва, Зелёный проспект, 5/12с1 м. Перово Заказать звонок
↑
Подобрать услугу