Перейти к содержимому
Пн. – Пт.: с 09:00 до 18:00 +7 (495) 150-85-67 ОСТАВИТЬ ЗАЯВКУ

Как поисковые системы определяют накрутку поведенческих факторов

Позиции просели за неделю без апдейта. Или наоборот: трафик из поиска вырос на треть, а заявок столько же. В обоих случаях владелец сайта упирается в один вопрос: что поисковая система считает нормальным поведением людей, а что - накруткой, и по каким признакам она это определяет.

Дальше - про механику. Какие сигналы поиск собирает помимо вашего счётчика, по каким признакам сессия и весь поток визитов выглядят искусственными и что происходит потом: накрутку не учитывают в расчёте или сайт понижают. Обзор того, что такое поведенческие метрики и какие есть способы ими управлять, разобран отдельно - в статье про накрутку поведенческих факторов. Здесь только сторона поиска.

Коротко

  • У поиска есть то, чего нет у владельца сайта: вся выдача по запросу, история профилей и нормы распределений по миллионам сессий. Сайт сравнивают с нормой этой же ниши в этот же день.
  • Один признак не значит ничего. Решает совпадение: отпечаток устройства, однотипный сценарий, кластер адресов и расхождение числа кликов с реальным спросом.
  • Роботность в Яндекс Метрике ловит только ботов, которые представились или грубо себя выдали. Аккуратную накрутку она часто пропускает.
  • Реакции две: сигналы не учитывают в расчёте (сайт не растёт, деньги потрачены) или накладывают санкции. Нарушение называется «имитация действий пользователей» и видно в Яндекс Вебмастере.
  • Визиты выросли, а целей столько же - самая быстрая проверка. Если прирост не дал ни одной заявки, причину ищут не в контенте.

Какие поведенческие данные есть у поиска, а какие у вас

Разговор про накрутку идёт по кругу, потому что владелец сайта и поисковая система смотрят на разные данные. У вас счётчик на одном ресурсе. У поиска - вся выдача по запросу, поведение человека до вашей страницы и после неё, плюс статистика по десяткам конкурентов в той же нише за тот же день.

Сравнение данных о поведении пользователей: что видно в Метрике и что видит поисковая система

Поведенческие факторы делятся на две группы, и путать их дорого. Внутренние - то, что происходит на страницах: время, глубина просмотра, отказы, взаимодействие с формами. Внешние, или кликовые факторы, - то, что происходит в выдаче: показ сниппета, клик, возврат в поиск, выбор следующего результата. Первую группу вы видите в Метрике, вторую почти нет, а для ранжирования важнее именно она: эти данные собирает сам поиск, независимо от того, что установлено на сайте.

Накрутка поведенческих факторов - искусственное создание визитов и кликов, которые должны выглядеть как действия реальных пользователей. В правилах Яндекса это называется имитацией действий пользователей: искусственное наращивание посещаемости, в том числе через сервисы накрутки или привлечённых людей.

Часть кликовых данных доступна в Яндекс Вебмастере: показы, клики, CTR (доля кликов от числа показов), средняя позиция и средняя позиция клика, а в мониторинге запросов ещё и спрос - оценка количества людей, задающих поисковый запрос. Нюанс: Вебмастер учитывает показы и клики только до 50-й позиции, поэтому информация неполная. И клики там не равны визитам в Метрике.

Поведенческие сигналы в выдаче Яндекса

Схема, из которой растёт вся логика. Человек задал запрос, увидел топ 10 результатов, выбрал один, вернулся, выбрал другой, закрыл поиск. Системе ценен не сам клик, а чем закончилась серия. Последний клик - результат, после которого пользователь не вернулся дозадавать тот же вопрос, - считается признаком решённой задачи. Быстрый возврат и переход на соседний сайт - признак обратного. Отсюда и два вида накрутки: добирать клики себе или создавать чужому ресурсу поток быстрых уходов.

  • Клики растут, показы нет. При естественном росте обе линии в Вебмастере идут вместе: сайт поднялся, показов больше, кликов тоже. Если клики прибавляют, а показы стоят, кто-то заходит целевым маршрутом, минуя просмотр выдачи.
  • CTR не соответствует позиции. Кликабельность привязана к месту: первые строки собирают в разы больше нижней части топа. Резкий скачок доли кликов по узкой группе запросов без изменения сниппета естественными причинами не объяснить. Как влиять на кликабельность законно - в материале про CTR сниппета в выдаче.
  • Перекос внутри кластера. Люди задают тему веером формулировок: с городом, с ценой, с уточнениями, с ошибками. Накрутка идёт по двум-трём точным фразам, и внутри кластера появляется разрыв, которого у реального спроса не бывает.

Вес этой группы сигналов в Яндексе и Google разный, и методы, которые что-то дают в одной системе, в другой чаще не работают. Это отдельная тема - в статье про поведенческие факторы в Яндексе и Google.

Признаки накрутки в отдельной сессии

Уровень ниже - один визит. Здесь поиск работает как антифрод в рекламе: собирает технические и поведенческие параметры и сравнивает набор со статистикой нормальных сессий.

Чек-лист признаков накрутки ПФ: отпечаток браузера, однотипный сценарий, кластер адресов

Отпечаток устройства и браузера

Отпечаток браузера - набор параметров, который устройство сообщает о себе при загрузке страницы: версия браузера и операционной системы, разрешение экрана, часовой пояс, язык, шрифты, особенности отрисовки графики. По отдельности параметр не значит ничего, важно распределение. У живой аудитории всегда разброс: разные версии, мобильные и настольные устройства, редкие экраны, старые сборки. Если 90% визитов приходит с новой версии одного браузера и одного разрешения, это уже не аудитория, а конфигурация.

Однотипные сценарии поведения

Второй слой - как ведёт себя посетитель. Человек скроллит рывками, останавливается, иногда возвращается назад, промахивается мимо кнопки, двигает курсор по ломаной. Бот ровнее: равномерная прокрутка, клик точно в центр элемента, одинаковый маршрут у десятка визитов подряд, время визита около заданного значения (например, все сессии по 40 секунд). Работа Тана и Кумара ещё в 2002 году показала главное: ботов надёжнее искать не по IP адресам и не по названию программы, а по навигационным образам в потоке кликов. Маскировка с тех пор стала лучше, принцип не изменился.

Важно. Роботность в Метрике - не детектор накрутки. Метрика определяет роботов по поведению и техническим сигналам, но однозначно отсекает только тех, кто представился: известные User-Agent, клиенты без браузера, нетипичная работа скриптов. Высокая роботность означает, что реальная доля ботов ещё больше; роботность в норме не доказывает, что всё чисто.

Профиль пользователя, а не одна сессия

Самое неприятное для накрутки место. Поиск оценивает не только визит, но и того, кто его совершил, - по истории устройства и профиля.

Чем массовые сервисы накрутки выдают себя

  • История поисковых запросов. У человека тематика узкая и связная: ремонт, потом материалы, потом доставка. Когда видно, сколько за месяц запросов из несвязанных тематик задал один профиль - кровля, стоматология, автозапчасти, юридические услуги, - это уже не пользователь, а исполнитель заданий.
  • Возраст и прочая активность. Новый профиль, которому две недели и который только переходит из поиска на коммерческие сайты, выглядит иначе, чем профиль с многолетней историей, почтой, картами и покупками.
  • Кластеризация адресов. У живого потока адреса распределены по сотням провайдеров. Накрутка собрана из нескольких автономных сетей: арендованные прокси, серверы хостингов, мобильные пулы. Тот же пул устройств всплывает на разных сайтах одной тематики, и видно это на уровне всей ниши.
  • География против клиентской базы. Если у сайта с доставкой по Москве появляются города, где нет ни одного клиента, объяснение редко бывает маркетинговым.

Отдельно про прокси. Аренда адресов домашних абонентов крупных провайдеров ломает проверку по IP и автономной сети: формально такой трафик неотличим от живого. Но поведение и отпечаток остаются. Обзор научных методов определения роботов (Доран и Гокхейл, 2011) фиксирует и обратное: универсального решения нет ни у одной стороны, любая проверка даёт ошибки. Как отличать ботов от людей в своей статистике - в материале про ботов на сайте.

Негативная накрутка конкурентами

У негативной накрутки другой рисунок: рост прямых заходов, время на сайте менее 15 секунд, высокие отказы, быстрые возвраты в выдачу. Как это заметить и чем закрыться - в статье про накрутку ПФ конкурентами.

Трафик растёт, позиции падают, а причина непонятна? Разберём на цифрах, что происходит с сайтом

Накрутка против реального спроса

Признак самый арифметический, и обойти его сложнее всего. Поиск знает, сколько людей задают запрос и сколько кликов обычно получает каждое место. Значит, для сайта считается коридор правдоподобных значений - и видно, когда реальность из него вышла.

Расчёт ожидаемого числа переходов из поиска: спрос умножить на кликабельность позиции

Условный расчёт. Запрос задают 1 200 раз в месяц, сайт на четвёртом месте, кликабельность этой позиции порядка 7%. Ожидаемо выходит около 84 переходов. Если приходит 400 визитов, объяснений два: либо сайт не на четвёртом месте, либо часть потока пришла не из выдачи. Тот же счёт делают в обратную сторону, по отказам и глубине просмотра. Если показатель отказов (в Метрике это визит с одной страницей короче 15 секунд) по одному источнику вырос вдвое, а по остальным нет, аномалия локальная и с содержанием страниц не связана.

  1. Сезонность. Спрос в любой нише ходит волнами, и у волны есть форма. Естественный рост повторяет кривую тематики, накрутка начинается в один день и к ней не привязана.
  2. Соотношение источников. Резкий рост прямых заходов без рекламы, рассылки и офлайн-активности - классика. Прямой заход сложно проверить, поэтому его и используют для маскировки.
  3. Бизнес-метрики. Визиты прибавили 40%, достижения целей - ноль. Для живой аудитории это практически невозможно: конверсия может просесть, но не до нуля на всём приросте.

Из практики. В аудитах регулярно видим обратную ситуацию: собственник уверен, что идёт накрутка, а дело в техническом сбое - сервер отдаёт ошибки, изменился Title после обновления шаблона, открылись дубли. Поэтому порядок такой: сначала смотрим, не изменилось ли что-то в самом сайте, и только потом анализируем поток визитов. Иначе месяц уходит на защиту от того, чего нет.

Два сценария: не учесть накрутку или понизить сайт

Эти исходы обычно сваливают в один, а разница принципиальная.

Сценарий первый: сигналы не учитывают. Поток признан искусственным, визиты не попадают в расчёт. Позиции не двигаются ни вверх, ни вниз, сообщений не приходит, в статистике сайта трафик при этом виден. Самый частый и самый незаметный случай: деньги уходят, отчёт показывает рост посещаемости, видимость в поиске стоит на месте. Снаружи похоже на «не сработало», хотя сработала защита.

Сценарий второй: санкции. В правилах Яндекса есть отдельный вид нарушения - имитация действий пользователей. Если алгоритмы его фиксируют, запись появляется в Вебмастере на странице «Безопасность и нарушения» и в разделе с ошибками диагностики. Санкции могут действовать на весь сайт, включая поддомены, если нарушение относится к родительскому домену, или только на некоторые разделы. Порядок снятия описан в справке: убрать накрутку и связанные с ней услуги, описать в блоке нарушения, что изменили, приложить подтверждения, отметить исправление и отправить сайт на проверку. Проверка занимает до 30 дней, повторно отправить можно тоже через 30 дней. Точного срока действия ограничений Яндекс не публикует: в практике рынка называют полгода и больше, но это оценка, а не факт.

Сильнодействующее средство тем и отличается от безвредного, что результат зависит от дозы и от того, кто его назначает: один и тот же инструмент в одной нише даёт улучшение позиций, а в другой - запись в Вебмастере и долгую историю восстановления. Что делать, если санкции уже наложены, разобрано в статье про фильтр за накрутку ПФ.

Запомнить

  • Нет сообщения в Вебмастере - это не значит, что всё в порядке: первый сценарий тихий.
  • Есть сообщение - есть время на действия: санкции и просадка позиций наступают не одновременно.
  • Чем ближе накрутка к реальным распределениям, тем она дороже и тем меньше даёт прироста. На этом экономика и ломается.

Как проверить, идёт ли накрутка на ваш сайт

Порядок действий на полчаса. Вывод делайте по сумме признаков, а не по одному совпадению.

  1. Метрика, «Посещаемость» за 60 дней. Найти день перелома: когда визиты пошли вверх или показатели вниз. Чёткая точка - аргумент за внешнее воздействие, плавное изменение - против.
  2. Метрика, «Источники, сводка». Сравнить доли переходов из поисковых систем и прямых заходов с предыдущим месяцем.
  3. Метрика, отчёт «Роботы» и роботность. Смотреть не абсолютное значение, а изменение относительно обычного уровня этого сайта.
  4. Технологии и география. Разброс браузеров, версий и разрешений, список городов. Неожиданная однородность - сигнал.
  5. Вебвизор, 10-15 коротких сессий из поиска. Да, вручную. Пятнадцать минут записей Вебвизора дают больше, чем неделя споров о графиках.
  6. Вебмастер, «Безопасность и нарушения». Проверить, нет ли записи о нарушении, и сверить динамику показов и кликов в статистике запросов.
  7. Заявки. Сопоставить визиты и обращения из CRM за период. Расхождение тренда - самый быстрый ответ.

Частые ошибки в оценке накрутки

  • Любое падение списывают на апдейт. Алгоритмическая просадка идёт плавно и по широкому пулу запросов, накрутка - резко и точечно по коммерческим фразам.
  • Верят одному показателю. Роботность в норме - значит, ботов нет; выросла - значит, атака. Оба вывода неверны: нужно совпадение минимум трёх независимых признаков.
  • Режут трафик по регионам. Вместе с ботами отсекается часть живых посетителей, а продуманная накрутка настраивается под вашу же целевую аудиторию.
  • Ставят сложную капчу на весь сайт. Современные боты её обходят, а конверсия живых посетителей падает.
  • Отключают Метрику. Данные о поведении в выдаче у поиска всё равно есть, а вы остаётесь без инструмента анализа.
  • Отвечают встречной накруткой. Поток в обе стороны по одним и тем же запросам делает картину ещё более неестественной.

Если поведенческие показатели плохие сами по себе, никакие сигналы извне не помогут: сначала убираем то, что мешает людям на сайте

Частые вопросы

Как Яндекс определяет накрутку ПФ, если боты заходят из обычных браузеров?

Браузер - один параметр из десятков. Решение принимают по совокупности: отпечаток устройства, сценарий поведения в сессии, история профиля, распределение адресов по сетям и соответствие числа кликов реальному спросу. Повторить всё сразу и остаться дешевле обычного продвижения получается плохо.

Можно ли понять по Метрике, что накрутка уже обнаружена?

Напрямую нет: Метрика показывает ваш трафик, а решение, учитывать ли сигналы в ранжировании, принимает поиск и наружу не выводит. Косвенный признак первого сценария - визитов много, поведение внешне приличное, а позиции месяцами стоят.

Почему роботность в Метрике почти нулевая, а проблемы есть?

Метрика сразу отсекает роботов с известным User-Agent и тех, кто работает без полноценного браузера. Накрутка в настоящем браузере с живыми адресами в эту категорию не попадает, поэтому ноль в отчёте означает лишь отсутствие простых ботов.

Через сколько поиск реагирует на накрутку?

Точных сроков Яндекс не публикует, многое зависит от объёма и грубости потока. Практика показывает разброс от нескольких дней до пары месяцев, причём очистка сигналов обычно происходит раньше, чем появляется запись о нарушении.

Отличает ли поиск накрутку своего сайта от атаки конкурентов?

Рисунок потоков разный: у атаки преобладают быстрые уходы и возвраты в выдачу, у продвижения своего сайта - досмотры и целевые действия. Но доказать, кто заказчик, невозможно ни вам, ни поиску, поэтому смысл имеет не поиск виноватого, а остановка потока и сохранение доказательств.

Влияет ли контекстная реклама на поведенческие факторы в поиске?

Рекламные переходы считаются отдельно от органических, и покупкой кликов позиции в поиске не поднять. Но реклама даёт данные о реальных посетителях и их действиях на страницах, а это помогает быстрее понять, какие страницы действительно решают задачу человека.

Что делать, если в Вебмастере появилось сообщение об имитации действий пользователей?

Убрать искусственный источник визитов и отказаться от связанных услуг, описать в блоке нарушения, что изменено, приложить подтверждающие файлы, отметить исправление и отправить сайт на проверку. Проверка занимает до 30 дней; если ограничение не снято, повторная отправка возможна ещё через 30 дней.

Поймём, что на самом деле мешает сайту расти

SEO-аудит сайта от 20 000 ₽, срок 7-14 рабочих дней: техническая часть, юзабилити, коммерческие факторы и качество трафика. На выходе список причин с приоритетами и порядок работ, а не общие рекомендации. Разбор результатов со специалистом входит в стоимость.

Источники

  1. Manning C. D., Raghavan P., Schütze H. Introduction to Information Retrieval. Cambridge: Cambridge University Press, 2008. 506 p.
  2. Chuklin A., Markov I., de Rijke M. Click Models for Web Search. San Rafael: Morgan & Claypool Publishers, 2015.
  3. Tan P.-N., Kumar V. Discovery of Web Robot Sessions Based on their Navigational Patterns // Data Mining and Knowledge Discovery. 2002. Vol. 6, № 1. P. 9-35.
  4. Doran D., Gokhale S. S. Web robot detection techniques: overview and limitations // Data Mining and Knowledge Discovery. 2011. Vol. 22, № 1-2. P. 183-210.
  5. Dave V., Guha S., Zhang Y. Measuring and Fingerprinting Click-Spam in Ad Networks // Proceedings of the ACM SIGCOMM 2012 Conference. Helsinki, 2012. P. 175-186.
  6. Chandola V., Banerjee A., Kumar V. Anomaly Detection: A Survey // ACM Computing Surveys. 2009. Vol. 41, № 3. Article 15. P. 1-58.
  7. Ашманов И. С., Иванов А. А. Оптимизация и продвижение сайтов в поисковых системах. СПб.: Питер, 2011. 464 с.
  8. Кошик А. Веб-аналитика 2.0 на практике. Тонкости и лучшие методики. М.: Диалектика, 2011. 528 с.

Закажите SEO-продвижение сайта и получите экспресс-аудит в подарок!

Вы получите до 30 слайдов с предложениями по оптимизации и повышению эффективности вашего сайта

Заказать аудит

Контакты RubikMedia

+7 (495) 150-85-67 mail@rubikmedia.ru г. Москва, Зелёный проспект, 5/12с1 м. Перово Заказать звонок
↑
Подобрать услугу