В 2024 году автоматический трафик в интернете впервые перевесил человеческий: около 51% всех посещений создали программы, причём 37 процентных пунктов из них дали вредоносные боты и только 14 полезные. Для владельца ресурса смысл простой. Примерно каждый второй визит в сырых логах оставил не человек. Вопрос не в том, есть ли у вас боты на сайте - они есть. Вопрос в том, сколько их в отчётах, какие решения вы принимаете по испорченным данным и что можно заблокировать, не задев живых пользователей. Активность автоматики продолжает расти, поэтому разовой чистки мало.
Коротко
- Деление на хороших ботов и плохих условное. Полезнее другой признак: этого робота вы подключили сами или он пришёл без приглашения. Хороший бот тоже даёт нагрузку.
- Главный расход для бизнеса не нагрузка, а искажённая информация: по ней считают конверсию, отказы и эффективность контекстной рекламы.
- В Яндекс Метрике есть отчёт «Роботы» и режим «Данные: без роботов». Опция «Фильтровать роботов по поведению» необратима.
- Принадлежность поискового робота определяют обратным DNS-запросом по логам, а не списком адресов: Яндекс свои IP не публикует.
- Опасна не чистка, а грубая чистка. Блокировка по IP, жёсткая капча на входе и ошибки в robots.txt отрезают людей и поисковые системы быстрее, чем ботов.
Какие боты заходят на сайт: полезные и вредоносные
Бот - программа, которая обращается к страницам ресурса без участия человека. Виды ботов удобно разделить не по характеру, а по цели использования и по тому, звали вы их или нет. Этот признак сразу даёт понять, какой вид автоматики полезен владельцу, а какой вреден.

Полезные, или хорошие, боты нужны вам самим. Это основные поисковые краулеры Яндекса и Google, роботы социальных сетей, которые собирают картинку и текст для превью ссылки, специальные сервисы мониторинга доступности. Ещё один обычный пример - помощник в чате. Бот отвечает. Вопросы сложнее он передаёт оператору, а простые закрывает информацией из базы знаний, и это позволяет снизить нагрузку на отдел продаж. Такой помощник помогает и в продажах: быстрый ответ повышает конверсию страницы.
Вредоносные боты приходят сами. Парсер собирает каталог, цены и контент для чужого ресурса. Спам-боты отправляют формы с несуществующими телефонами. Сканеры безопасности перебирают адреса админки и старые плагины CMS, ищут уязвимость в установке и в настройках безопасности. Роботы подбора паролей бьют по странице входа. Клик-боты занимаются скликиванием: такие боты приводят к расходу рекламного бюджета без продаж. Отдельно стоит защита от DDoS: атака такого вида не собирает информацию, её цель - количество запросов, которое сервер не выдержит. Сложные боты маскируются под живого посетителя, и простой блокировкой их не остановить.
Роботность - доля визитов, которые система аналитики определила как роботные. В Яндекс Метрике это отдельный показатель и отдельный отчёт, а не выключатель «пускать ботов или нет».
Есть ещё один вид, про который спрашивают чаще всего: роботы нейросетевых сервисов, которые читают текст сайта для обучения моделей и для ответов в чатах. Для одних компаний это начало нового канала обращений, для других просто загрузка сервера. Решение зависит от стратегии, и мы разбираем его в материале про продвижение в нейросетях.
Почему боты - проблема для бизнеса
Самое заметное последствие техническое. Растёт нагрузка, сервер отвечает ошибкой 500 или 502, поисковый робот в этот момент получает недоступные страницы и снижает скорость обхода. Это лечится настройками сервера. Дороже обходится другое: боты ничего не ломают, а просто сидят в отчётах и дают искажённую информацию.
Условный пример. В Метрике 4 000 визитов за месяц, отказы 62%, средняя длительность 25 секунд, конверсия 0,9%. Похоже на проблему посадочной страницы, и команда идёт её переделывать. Но если 1 100 визитов роботные, то по живым пользователям картина другая: 2 900 визитов, отказы около 48%, конверсия 1,2%. Страница нормальная, работать надо с источниками трафика. Порядок искажения мы регулярно видим в аудитах именно такой. Это простой пример того, как роботные посетители меняют выводы.
Дальше ломается всё, что считается от этих цифр: цена обращения, эффективность канала, выводы A/B-тестов, обучение автостратегий. Спам-заявки отдельно съедают время менеджеров: фальшивый номер обрабатывается так же долго, как реальный. А сбор прайса конкурентом - уже не аналитика, а коммерческий риск.
Важно. Не путайте роботный трафик с некачественным. Живой пользователь, который пришёл по нерелевантному запросу и ушёл через 5 секунд, - не бот, и фильтрация роботов его не уберёт. Разница важная: это задача семантики и объявлений, про неё отдельный материал про качество трафика.
Не понимаете, сколько в вашей статистике живых пользователей, а сколько роботов
Как проверить, кто у вас на сайте: признаки бота
Один признак ничего не доказывает: у пользователя может быть старый браузер и странный маршрут. Обратите внимание на сочетание трёх и более пунктов на одном срезе данных. Проверяйте несколько признаков вместе, иначе под подозрение попадут живые пользователи.

- Всплеск без причины. Трафик вырос в разы, при этом не менялись реклама, рассылки и позиции в поисковой выдаче.
- Нулевая длительность. Много посещений с одним просмотром и временем 0-2 секунды. Отказом в Метрике считается визит с одним просмотром короче 15 секунд.
- Один адрес входа. Сотни визитов строго на одну страницу, часто с параметром или на несуществующий раздел.
- Однородная техника. Одно разрешение экрана, одна версия браузера, одна операционная система у большой группы визитов.
- География не ваша. Регионы, где вы не работаете и не показываете рекламу.
- Ровные интервалы. Визиты приходят через одинаковые промежутки, в том числе ночью, без суточного профиля живой аудитории.
- Поведение в Вебвизоре. Мгновенная прокрутка, нет движений курсора, клики точно в одну координату, длинные паузы.
- Заявки без признаков человека. Форма заполнена быстрее, чем можно напечатать, телефона не существует, в комментарии ссылка.
Из практики. Соберите один раз сегмент «подозрительные визиты» по 3-4 техническим условиям и сохраните его. Дальше вы просто сравниваете два сегмента, а не перебираете отчёты заново. Такой сегмент легко переключать на любой период и накладывать на отчёты по источникам - способ простой, а экономит часы на каждом разборе.
Роботность в Яндекс Метрике: данные без роботов
Метрика фильтрует запросы. Бот, который честно называет себя в заголовке пользовательского агента, исключается из статистики сразу. Тех, кто маскируется, система определяет по поведению и техническим сигналам, и такие визиты по умолчанию в отчётах остаются.
- Отчёт «Роботы». Показывает роботные действия с разбивкой по правилам фильтрации. Поведенческие правила идут отдельной строкой, остальные по имени робота из заголовка пользовательский агент. Есть и техническое правило «отфильтрованы по отсутствию JS и Referer».
- Режим «Данные: без роботов». Переключается в самом отчёте, рядом доступно сравнение с данными с роботами. Наиболее быстрый способ увидеть разницу в отказах и конверсии.
- Сегментация. Если нужно сравнить людей и роботов в одном отчёте, вопрос решается сегментом, а не настройкой счётчика.
- Отчёт «Нагрузка на сайт». Когда ресурс начал тормозить, сначала ищите всплеск здесь, а потом открывайте «Роботы» за тот же период и смотрите имена.
В API Метрики есть ещё один показатель роботности: он определяет роботов не только по поведению на сайте, но и по данным антифрода Яндекс Рекламы. Показатель доступен с 19 апреля 2025 года и нужен в основном тем, кто выгружает неагрегированные данные через Logs API или строит интеграцию аналитики с CRM. Интеграция настраивается один раз, дальше данные приходят уже без роботов.
Важно. Опция «Фильтровать роботов по поведению» в настройках счётчика удаляет такие визиты из исходных данных навсегда. После включения вы не сможете менять отображение статистики с роботами и без них, а дополнительная настройка фильтрации станет недоступна. На информацию, собранную до включения, настройка не влияет. Это дополнительное ограничение, о котором часто узнают поздно, поэтому включайте осознанно.
В Google Analytics 4 выбора нет: исключение трафика известных роботов работает по умолчанию, отключить его нельзя, и количество отфильтрованных обращений вы не увидите. Фильтр использует собственные данные Google и список Interactive Advertising Bureau, то есть ловит в основном тех, кто сам себя объявил. Дополнительных настроек у него нет. Разницу между системами мы разбираем в материале про поведенческие факторы в Яндексе и Google.
Логи сервера и проверка IP-адреса робота
Счётчик видит только тех, у кого исполнился JavaScript. Боты, которые получают HTML напрямую, в Метрику не попадают вообще, их видно лишь в логах веб-сервера. Поэтому точный анализ начинается с логов доступа: смотрят самые активные адреса за сутки, частоту запросов с каждого и значение пользовательского агента. Анализировать логи нужно за несколько дней, иначе картина получится случайная.
Дальше нужен ответ на главный вопрос: это настоящий поисковый робот или кто-то им представился. Проверка одна для обеих систем и называется обратный DNS-запрос: по адресу из логов определяют имя хоста, затем по имени запрашивают адрес обратно и сверяют с исходным.
- Яндекс. Имена хостов его роботов должны заканчиваться на yandex.ru, yandex.net или yandex.com. Другое окончание - не Яндекс. Списков своих адресов Яндекс не публикует: сети меняются, поэтому проверка по DNS надёжнее. Для разовых случаев в Яндекс Вебмастере есть бесплатный инструмент проверки IP. Адреса удобно проверять вручную, пока их немного.
- Google. Имена хостов оканчиваются на googlebot.com, google.com или googleusercontent.com. Здесь диапазоны адресов опубликованы в машиночитаемых файлах отдельно для основных краулеров, для роботов рекламы и для запросов, инициированных пользователем. Это удобно, когда проверок много и процесс надо автоматизировать.
Если по обратному DNS имя не определяется или не сходится с заявленным агентом, обращение можно считать посторонним и ограничивать.
Боты в рекламе: недействительные клики и спам в заявках
В Яндекс Директе работает собственная система защиты. Обращения, которые она относит к недействительному трафику, исключаются из статистики рекламной кампании, и оплата за них не списывается, а фродовые конверсии не идут в обучение автостратегий. Антифрод может не показать объявление подозрительному роботу ещё до клика либо вывести капчу, если клик выглядит сомнительно. Списанные деньги в большинстве случаев возвращаются на баланс автоматически.
Отсюда два следствия, которые путают чаще всего. Первое: цифры в Метрике и в отчётах Директа по одному периоду могут не совпадать, потому что Вебвизор и CRM показывают все посещения, в том числе уже отфильтрованные из рекламной статистики. Второе: недействительным трафиком не считаются визиты и заявки от реальных, но нецелевых людей, повторные конверсии в разных визитах и просто неверно указанный телефон. Если спорный период всё же нашёлся, в обращении в поддержку нужны идентификатор кампании, период, номер счётчика Метрики и отчёты, которые вы анализировали; конверсии проверяются только за последние 30 дней. Отфильтрованные показы, клики и конверсии видны в отчёте по недействительному трафику в библиотеке отчётов, он доступен всем рекламодателям.
Запомнить
- Счётчик и логи содержат разные множества ботов. Для анализа нужны оба источника информации.
- Расхождение данных Метрики и Директа само по себе не ошибка настройки.
- Фильтрация роботов в аналитике не возвращает деньги за клики, это различные механизмы.
- Файлы логов храните не меньше месяца: без них разбирать прошлый всплеск нечем.
Методы защиты от ботов и цена ошибки
Универсального выключателя не существует. Есть набор инструментов, и у каждого своя цена ошибки. Сначала определите, что именно мешает: нагрузка, спам в формах, сбор контента или искажённая статистика. Выбирайте метод под конкретную проблему, а выбрать проще, когда ущерб посчитан. Правило простое: сначала измерение, потом защита. Боты редко уходят с первого фильтра.

| Метод защиты | Против кого работает | Риск задеть пользователей |
|---|---|---|
| Файл robots.txt | Только вежливые боты, которые его читают | Высокий при ошибке: раздел выпадает из индекса |
| Скорость обхода в Вебмастере | Поисковый робот Яндекса при нагрузке | Низкий, но малая скорость замедляет индексацию |
| Капча на формах | Спам-боты и автозаполнение | Средний: на входе режет конверсию, на формах почти нет |
| Скрытая ловушка в форме | Простые автозаполнители | Низкий, человек её не видит |
| Ограничение частоты запросов | Парсеры и перебор паролей | Средний: можно задеть офисную сеть с общим адресом |
| Защита на стороне хостинга | DDoS и массовые сканеры | Низкий при корректной настройке |
| Блокировка адресов вручную | Один источник здесь и сейчас | Высокий: адреса меняются, под блокировку попадают люди |
Базовая защита: robots.txt, капча, ловушка
Директиву Crawl-delay основной робот Яндекса не учитывает с 2018 года: частоту обращений задают настройкой скорости обхода в Вебмастере. Для робота рекламной сети директива работает, и без неё минимальная пауза составляет 2 секунды. Капча - проверка, которую человек проходит легко, а программа нет; её место на формах, а не на входе в сайт. Скрытая ловушка - поле или ссылка, невидимые человеку: заполнили или перешли, значит, перед вами бот. Приём простой и бесплатный, но продвинутые боты используют анализ стилей страницы и его обходят. Переход по невидимой ссылке - надёжный признак программы.
Защита на стороне сервера и сервиса хостинга
Ограничение частоты запросов и проверка трафика на уровне хостинга закрывают массовые случаи: перебор паролей, сбор каталога, DDoS. Многим проектам этого достаточно, отдельное специальное решение нужно, когда атаки регулярные. Создание такой системы защиты с нуля обычно дороже, чем подключить готовую функцию у провайдера. Здесь помогает поддержка хостинга: у неё больше данных о трафике, чем у вас. Создание собственных правил имеет смысл, когда атаки повторяются из месяца в месяц.
Почему защита по IP-адресу работает плохо
Блокировка по IP. Адреса меняются, часть пользователей сидит за общим адресом офиса или использует VPN. В итоге вы теряете людей, а робот возвращается с нового адреса через час. Это не борьба, боты никуда не исчезнут, это управление доступом. Блокировать стоит точечно и на время: блокировать адреса пачками - худшее, что можно сделать с живой аудиторией. Эффективный способ здесь другой: ограничение частоты плюс проверка на стороне сервиса хостинга. Ошибка в robots.txt обходится ещё дороже: закрытый от поисковой системы раздел теряет видимость, и чаще всего это находит технический аудит.
Из практики. Любая защита от ботов - сильнодействующее средство, и важен не сам факт её применения, а доза и повод. Жёсткая капча на входе и блокировка по странам «на всякий случай» вырезают часть живых обращений, а заметно это становится через месяц, когда падает количество заявок. Сначала измеряйте, потом фильтруйте, и после каждого изменения сверяйте число заявок и продаж.
Нужно отсечь спам-заявки и роботов, не потеряв живые обращения
Боты и поведение пользователей: что видит поиск
Поведение пользователей поисковые системы учитывают при ранжировании, а их алгоритмы построены на машинном обучении и больших массивах данных. Отсюда закономерный вопрос: портят ли роботы поведенческие факторы.
Разделим два случая. Обычные боты - парсеры, сканеры, краулеры - на сигналы ранжирования почти не влияют: поисковая система анализирует поведение по своим данным и фильтрует автоматику на своей стороне, а не по вашему счётчику. Второй случай - когда программа целенаправленно повторяет обычные действия человека. Это уже не фоновый шум, и разбирается отдельно: механика описана в обзоре накрутки поведенческих факторов, признаки чужого вмешательства - в материале про накрутку ПФ конкурентами, логика распознавания - в статье о том, как поисковые системы определяют накрутку.
Практический вывод: прежде чем делать выводы по отказам и времени на сайте, уберите роботов из выборки. Иначе вы будете улучшать показатель, который испорчен не юзабилити, а автоматикой. Нормы и способы работы с ним - в материале про показатель отказов.
Ошибки в работе с ботами: кейсы и примеры
В аудитах мы чаще видим не отсутствие защиты, а её неудачное использование.
- Включили необратимый фильтр и потеряли базу сравнения. Данные стали чище, но объяснить, что изменилось в поведении людей, уже нельзя: не с чем сравнивать.
- Заблокировали подозрительный агент, а это был поисковый робот. Проверить обратным DNS можно за минуту, и вопрос снимается.
- Поставили капчу на всё, включая первый экран. Роботов стало меньше, заявок тоже.
- Сравнили период до фильтрации с периодом после. Падение в отчёте приняли за падение спроса и урезали бюджет.
- Чистят статистику, но не чистят источники. Если площадка стабильно приводит роботов, её отключают в настройках кампании, а не прячут в отчёте.
Заключение: данные, бизнес и порядок действий
Боты - постоянная часть интернета, и полностью убрать их возможности нет. Реальная задача владельца другая: знать свою роботность, принимать решения по чистым данным и не терять пользователей на фильтрах. Порядок шагов такой: измерить долю роботов в Метрике, посмотреть логи и проверить IP активных роботов, отделить спам-заявки от нецелевых обращений, выбрать методы защиты под конкретную проблему, через месяц сверить количество заявок и продаж.
Частые вопросы
Как быстро понять, есть ли боты на сайте?
Откройте в Яндекс Метрике отчёт «Роботы» за месяц и переключите отчёт по трафику в режим без роботов. Если доля роботности заметная, а отказы и конверсия между режимами различаются ощутимо, нужен разбор. Для ботов, которые не исполняют JavaScript, дополнительно смотрят логи сервера.
Боты понижают сайт в поисковой выдаче?
Фоновая активность парсеров и сканеров сама по себе к понижению не ведёт. Повредить может её следствие: недоступность ресурса, ошибки 500 и 502 в момент обхода, медленный ответ. Поэтому сначала решают вопрос нагрузки, а потом статистики.
Можно ли полностью убрать роботов из отчётов Метрики?
Полностью исключить роботов, определённых по поведению, можно только в неагрегированных данных через Logs API либо включив в настройках счётчика необратимую фильтрацию по поведению. В обычных отчётах используют режимы отображения и сегменты.
Чем отличается бот от нецелевого посетителя?
Бот - программа, нецелевой посетитель - человек, которому ваш товар или услуга не подходит. Первого убирают фильтрами, второго - семантикой, объявлениями и настройками показов. Инструменты различные, и путать их дорого.
Нужно ли платить за сервис защиты от ботов?
Зависит от задачи. Если проблема в спаме форм, часто достаточно капчи и скрытой ловушки. Если это регулярные атаки или сбор каталога, нужны средства на уровне хостинга или отдельное решение. Начинайте с оценки ущерба: сколько заявок, бюджета и времени вы теряете за месяц.
Метрика и Директ показывают разные цифры, это ошибка?
Не обязательно. Недействительный трафик исключается из статистики Директа, а Вебвизор и CRM показывают все визиты, включая отфильтрованные. Сверять стоит динамику и конверсию, а не абсолютные числа строка в строку.
Входит ли разбор ботов в SEO-работы?
Да, анализ источников трафика и ответов сервера - часть технической оптимизации, которая входит в любой наш тариф, а правки вносит агентство. Отдельно это можно заказать как аудит сайта от 20 000 ₽ со сроком 7-14 рабочих дней.
Проверим, кто на самом деле ходит по вашему сайту
Разберём роботность в Метрике, логи сервера, спам в формах и качество рекламного трафика, покажем, какую информацию можно использовать для решений, а какую нет. SEO-аудит сайта от 20 000 ₽, срок 7-14 рабочих дней, разбор результатов со специалистом входит в стоимость.
Источники
- Tan P.-N., Kumar V. Discovery of Web Robot Sessions Based on their Navigational Patterns // Data Mining and Knowledge Discovery. 2002. Vol. 6, № 1. P. 9-35.
- Doran D., Gokhale S. S. Web robot detection techniques: overview and limitations // Data Mining and Knowledge Discovery. 2011. Vol. 22, № 1-2. P. 183-210.
- Stassopoulou A., Dikaiakos M. D. Web robot detection: A probabilistic reasoning approach // Computer Networks. 2009. Vol. 53, № 3. P. 265-278.
- von Ahn L., Blum M., Hopper N. J., Langford J. CAPTCHA: Using Hard AI Problems for Security // Advances in Cryptology - EUROCRYPT 2003. Berlin: Springer, 2003. (Lecture Notes in Computer Science, vol. 2656). P. 294-311.
- Jansen B. J. Click fraud // Computer. 2007. Vol. 40, № 7. P. 85-86.
- Manning C. D., Raghavan P., Schütze H. Introduction to Information Retrieval. Cambridge: Cambridge University Press, 2008. 506 p.
- Кошик А. Веб-аналитика 2.0 на практике. Тонкости и лучшие методики. М.: Диалектика, 2011. 528 с.

