Софт для веб-деятельности в аренду
Авторизация арендатора

Привет, тут сдаётся в аренду нужный seo-софт с настроенным сервером. Выбирайте.

CapTDS2 40$ / mo Заказать

Для фильтрации поступающего на сайты трафика. Софт отсеивает плохих ботов, пропускает поисковых и записывает статистику по посетителям.

Оценка трафика > Общая очередность

При оценке трафика мы сперва выявляем, является ли визит ботом. Если да, то на этапе фиксации бота завершаем проверку, возвращая домену соответствующую проверку. Например, если доступ Гуглу запрещен и это Гугл, то завершаем проверку и блочим. Если разрешен, но бот "псевдо", также блочим. Если разрешен, то возвращаем разрешение и также останавливаем дальнейший анализ.

Если это не бот, то проверяем сперва все запрещения, в числе которых как метод входа (прямой, поиск, реф), так и платформа посетителя, а также все остальные методы, которые упоминаются ниже по тексту.

Этапы проверки:

  1. Проверка IP по черному списку
  2. Проверка всех ботов - Google, Yandex, Mail.ru, MSN, Rabmler, Bing. Если это бот, то сперва обращаемся к настройкам, не запрещен ли доступ этому боту. Если запрещен, тормозим. Если нет, то проверяем на подлинность и, в зависимости от результата, пропускаем или блочим.
  3. Проверка прямого захода. Если запрещен в настройках, блочим. Если нет, ничего не возвращаем и идем дальше по правилам.
  4. Запрещенные рефереры - т.е. блокировка трафика с определенных источников, которые занимаются рефспамом или слабым ДОСом. Определяется совпадением из базы плохих рефереров.
  5. Запрещенные вхождения в урл - подробнее смотрите в материале конкретно про этот фильтр. В нем мы отсекаем некоторые инъекции, попытки взлома, сканеры движков и портов. Если тест не вызвал опасений, движемся дальше.
  6. Запрещенные юзер-агенты - используется для блокировки плохих ботов, например, Ahrefs. Перечень таких агентов берется из соответствующего файла, по ним происходит проверка соответствия. Если агент совпал, блочим. Если нет, идем дальше по правилам.
  7. Пустой user-agent - при включенной в настройках этой опции весь трафик с пустым агентом блокируется.
  8. Только мобильные - если стоит настройка пускать посетителей только с мобильных и проверка не удовлетворительна, то блочим и останавливаемся. Если же зашел с мобильного, то идем по правилам дальше.
  9. Не из поиска - если такие визиты запрещены и реф содержит в качестве источника одну из поисковых систем, то допускаем. Если включены разрешенные рефереры (следующий пункт), то переходим к следующему правилу. А если белые списки отключены, то блочим.
  10. Разрешенные рефереры - список сайтов, с которых трафик разрешен. Если есть вхождения из этой базы, то разрешаем визит. Если нет, то блокируем.
  11. Суммарное количество просмотров. Регулируется уже на домене в рамках сессии без обращения к фильтрам. На ботов не распространяется.