Фрод на контентных сайтах: как найти и обезвредить
Автор: Нина Речистова, менеджер по продукту в Native Rent.
Все мы знаем, что такое фрод (от англ. fraud — мошенничество). Это накрутка трафика на веб-сайтах или имитация выполнения действий (кликов, заполнения форм) на сайте под видом реальных пользователей. И всем нам хорошо известно, что фрод на сайте ‘– это ничего хорошего.
Чаще всего фрод преследует одну из двух целей: недобросовестный владелец сайта хочет или монетизировать накрученный трафик, или повредить конкуренту, нанеся урон репутации его сайта в глазах поисковых систем. Впрочем, бывают и другие мотивы.
Еще в ноябре 2020 года была отмечена масштабная накрутка трафика, которая затронула 40% сайтов рунета и продолжается по сей день. По одному из предположений, накрутчики таким образом «нагуливают» ботов, чтобы обеспечить им реалистичный поведенческий профиль. Из-за этого отличать ботов от реальных пользователей становится сложнее. Если владелец не накрутчик, то он радуется увеличению трафика, но ровно до тех пор, пока ему не отключат монетизацию РСЯ, AdSense или других рекламных платформ, поскольку проверка на фрод покажет некачественный трафик.
От фродового трафика:
-
Снижается монетизация: скликивания, фродовые показы, отсутствие конверсий от источника негативно оцениваются рекламодателями;
-
Сайт может работать медленнее из-за дополнительной нагрузки, а это снижает конверсию;
-
Поисковые системы пессимизируют сайт в выдаче, следовательно падает «хороший» органический трафик;
-
Статистика сайта не достоверна, показатели искажены ботами.
По результатам опроса, проведенного среди паблишеров нашей платформы Native Rent в январе 2022 года, 58% владельцев сайтов сталкивались с проблемой фрода. Больше половины из них принимали меры по борьбе с фродом и в 53% случаев эти меры не принесли результатов.
Как понять, что на сайте есть фрод?
Распознать фрод можно, если вовремя заметить ряд характерных признаков. Кроме того, существуют специальные сервисы для обнаружения фрода. Рассмотрим оба варианта.
Косвенные показатели фрода
Признаки фрода можно заметить с помощью сервисов аналитики сайта: Яндекс.Метрики или Google Аналитики. Обращайте внимание на:
1. Распределение трафика в течение суток. Нормальное поведение пользователей — пик посещаемости днем и спад ночью:
Если график посещаемости в течение суток равномерный — это фродовый трафик:
2. Высокий показатель отказов от конкретного источника, маленькое время проводимое на сайте:
3. Нетипичные источники трафика. Например, если у контентного сайта, заточенного на привлечение посетителей из органического поиска, преобладают прямые заходы.
4. Нетипичных посетителей. Соответствие аудитории контенту сайта очень важный показатель. Если у сайта на детскую тематику вдруг выросла аудитория мужчин возрастом 45+, то это может указывать на фрод.
5. Нетипичные устройства пользователей. Чаще всего для накрутки эмулируются заходы со смартфонов на базе Android. Также стоит обратить внимание на несуществующие и старые версии браузеров, устаревшие устройства:
6. Равномерное количество переходов на сайт по разным поисковым ключам. При этом низкая глубина просмотра и маленькое время на сайте:
7. Разные данные об источниках переходов в Яндекс.Метрике и Google Аналитике. Полезно сравнивать результаты обеих систем аналитики, поскольку мошенники не могут одновременно обойти механизмы Яндекса и Google. Разные показатели (источники, поисковые запросы, социально-демографические характеристики посетителей и т.п.) — сигнал к тщательной проверке трафика сайта.
Прямые показатели фрода
Качество трафика можно оценить по показателю «Роботность», доступному в Яндекс.Метрике. В сентябре 2021 года Яндекс анонсировал обновление в системе определения роботов: теперь данные в Яндекс.Метрике можно смотреть с роботами и без. Владельцу сайта также доступна информация о причинах попадания событий в отчет Роботность:
Однако, Яндексу до совершенного механизма определения роботов пока далеко, поэтому считать статистику полностью очищенной от ботов преждевременно. К примеру, Алексей Трудов из Legalbet сравнил результаты старой и обновленной системы фильтрации ботов Яндекс.Метрики. Он отметил, что хотя новая версия определяет ботов примерно на 10% точнее, большая их часть остается незамеченной.
Более качественно проверить трафик помогают специальные антифрод-сервисы, например, Admon или Oracle Moat. Чаще всего их используют рекламодатели. Рекламодатель ставит код такого сервиса на купленный рекламный трафик, а сервис проводит двухуровневую проверку трафика: онлайн в момент загрузки страницы с рекламой и постобработку трафика. Это позволяет объективно оценить качество купленного трафика, правда и стоят такие сервисы прилично. В среднем цена за 1000 событий составляет 4,5 рубля. При этом для работы требуется оплатить минимальный пакет трафика в несколько десятков миллионов событий.
Наша платформа Native Rent проверяет трафик подключенных сайтов на фрод с помощью сервиса Protected Media: он оценивает весь трафик в реальном времени и проводит постобработку 10% трафика. Владельцы подключенных к платформе сайтов помимо монетизации контента, бесплатно получают отчеты о текущей ситуации с качеством трафика, его возможных ухудшениях и улучшениях.
Проанализировав данные Protected Media, собранные со всех подключенных к Native Rent сайтов, мы получили следующие результаты:
-
В среднем 12% трафика на сайте — фрод, который можно обнаружить онлайн в момент загрузки страницы;
-
Постобработка трафика показывает, что в среднем 26% трафика сайтов является фродом;
-
Худшие показатели фрода у сайтов из категории финансы, игры и информационные технологии;
-
У сайта могут быть низкие показатели фрода при онлайн обработке трафика (показатель RT на скриншоте ниже), а постобработка показывает очень высокие значения (показатель JS). Это значит, что в реальном времени накрутка осуществляется очень эффективно и незаметно для антифрод-сервисов.
Косвенное подтверждение фрода у таких сайтов всегда можно найти в Яндекс.Метрике:
Способы борьбы с фродом
Есть два основных способа, которые владельцы сайтов используют для борьбы с фродом:
-
установка антиботов
-
и блокировка подозрительных сессий через IP.
Согласно опросу владельцев сайтов, подключенных к нашей платформе, среди методов также используются отложенная загрузка рекламы и исключение рекламы из первого экрана пользователя. Однако, нет каких-либо подтверждений эффективности этих мер.
Антиботы
Опрос паблишеров также позволил составить список решений для антифрода. Самыми часто используемыми оказались сервисы AntiBot Cloud и Cloudflare. Другие известные решения по проверке трафика и блокировке ботов Finteza и Botfaqtor. Все эти программы сканируют входящий трафик и при подозрении, что его генерируют боты, дополнительно проверяют этот трафик.
Блокировка сетей по IP
С помощью Яндекс.Метрики можно выявить подозрительные сессии, их IP-сети и UserAgent и заблокировать доступ к сайту для таких пользователей. Однако, это не самый эффективный метод: блокировка по IP может обернуться потерей настоящих пользователей. Для ботов используются IP мобильных операторов: один IP сейчас принадлежит боту, а уже через короткое время — реальному пользователю.
В заключение
В ходе проведенного нами опроса ни один из владельцев сайтов так и не дал однозначного ответа на вопрос об эффективном решении, которое с высокой точностью определяет и избавляет от ботов.
Сейчас ситуация выглядит неопределенной. Есть надежда, что проблема небезразлична Яндексу и Google, и они в обозримом будущем предложат способы выявления накрутчиков и более точного определения фрода.
Пока же владельцам сайтов остается быть внимательными, пользоваться всем доступным инвентарем для оценки трафика и вдумчиво использовать имеющиеся решения, чтобы обезопасить свой сайт.
