Защита сайта от атаки ботов с помощью Cloudflare

Cloudflare это сервис предоставления услуг CDN (Content Delivery Network) а также услуг в области сетевой безопасности. Сервис проксирует запросы к сайту, анализирует и затем перенаправляет безопасный траффик на один из своих серверов расположенных в более чем 200 городах 100 стран мира, предоставляя пользователю закешированные файлы сайта быстрей чем, это мог бы сделать обычный хостинг.

Зачем нужна защита Cloudflare

В последнее время участились случаи не просто DDOS атак, но атак умными хорошо замаскированными под реальных посетителей ботами. Часто, это переходы со взломанных мобильных устройств как правило под операционной системой андройд. Владельцы устройств и не подозревают что их устройство постоянно делает вредоносные запросы к сайтам.

Подавляющее число «Антибот» сервисов не может определить такие переходы как «роботные», не определяют их как роботные и сервисы статистики Яндекс Метрика и Google Аналитика. При этом как правило это отказные переходы или переходы с четким шаблоном поведения.

Ниже пример 100 заходов на главную за 24 часа, с одного ip адреса, только юзер агент устройств (мобильных) рандомно меняется в с каждым новым заходом.

Отказные переходы или переходы со временем нахождения на сайте менее 15 секунд без единого перехода по внутренним ссылкам существенно снижает поведенческие Факторы ранжирования понижая сайт в рейтинге.

В свою очередь переходы с шаблонным поведением подставляют сайт под санкции со стороны поисковых систем т.к. подобные переходы признаются сервисами поиска Яндекс и Google как накрутка поведенческих факторов.

Таким образом, подобные атаки в первую очередь бьют не по доступности сайта перегружая сервера огромным числом запросов к сайту как в случае с DDOS атаки к которым уже все привыкли и нашли эффективные способы борьбы, но бьют по SEO сайта, подставляя сайты под санкции со стороны поисковых сервисов за накрутку поведенческих факторов. Для поисковых сервисов создается картинка что у сайта очень низкая релевантность и качество из-за чего большое число посетителей сразу закрываю сайт после перехода, из-за чего владельцы сайта накручивают поведенческие факторы с помощью пользователей делающих шаблонные действия на сайте.

Все это привод к значительному падению позиций в поиске, сайт перестает быть виден потенциальным клиентам через поиск.
Ниже скриншот зафиксированного падения позиций в поиске после 2-ух недель атаки, на сайт обратившейся к нам компании (разница отражена к позициям сайта в поиске Янедкс относительно начала месяца).

Решение

Наша компания занимается настройкой сложной фильтрации всего поступающего на сайт траффика с помощью мощностей серверов cloudflare.
Весь траффик на сайт перенаправляется на НС сервера cloudflare, где он каскадным способом без существенного влияния на скорость загрузки фильтруется на предмет роботности. Каждому переходу определяется один из 3 статусов: живой траффик, подозрительный или бот траффик. Помимо косвенных признаков бот траффика мы используем определенный набор правил фильтрации отсеивая траффик из наших блэк листов, и наоборот пропуская траффик легитимных сервисов из вайт листов. При необходимости эти списки постоянно пополняются.

Бот траффик сразу блокируется, если переход живого человека по какой-то причине вызвал подозрение то ему предлагается подтвердить, что он человек проставлением галочки.

Формат и стоимость услуги

Пример результатов

Сайт stroytex.msk.ru

Сайт по изготовлению обручальных колец на заказ www.koltsa-na-zakaz.ru

ВАЖНО!

Ботфермы постоянно развиваются находя обходы фильтров и антибот систем. Только ручная работа по фиксации и обновлению правил фильтрации позволит вам полностью или почти полностью избавится от данной проблемы.