Привет, тут сдаётся в аренду нужный seo-софт с настроенным сервером. Выбирайте.
Для фильтрации поступающего на сайты трафика. Софт отсеивает плохих ботов, пропускает поисковых и записывает статистику по посетителям.
Оценка трафика > Общая очередность
При оценке трафика мы сперва выявляем, является ли визит ботом. Если да, то на этапе фиксации бота завершаем проверку, возвращая домену соответствующую проверку. Например, если доступ Гуглу запрещен и это Гугл, то завершаем проверку и блочим. Если разрешен, но бот "псевдо", также блочим. Если разрешен, то возвращаем разрешение и также останавливаем дальнейший анализ.
Если это не бот, то проверяем сперва все запрещения, в числе которых как метод входа (прямой, поиск, реф), так и платформа посетителя, а также все остальные методы, которые упоминаются ниже по тексту.
Этапы проверки:
- Проверка IP по черному списку
- Проверка всех ботов - Google, Yandex, Mail.ru, MSN, Rabmler, Bing. Если это бот, то сперва обращаемся к настройкам, не запрещен ли доступ этому боту. Если запрещен, тормозим. Если нет, то проверяем на подлинность и, в зависимости от результата, пропускаем или блочим.
- Проверка прямого захода. Если запрещен в настройках, блочим. Если нет, ничего не возвращаем и идем дальше по правилам.
- Запрещенные рефереры - т.е. блокировка трафика с определенных источников, которые занимаются рефспамом или слабым ДОСом. Определяется совпадением из базы плохих рефереров.
- Запрещенные вхождения в урл - подробнее смотрите в материале конкретно про этот фильтр. В нем мы отсекаем некоторые инъекции, попытки взлома, сканеры движков и портов. Если тест не вызвал опасений, движемся дальше.
- Запрещенные юзер-агенты - используется для блокировки плохих ботов, например, Ahrefs. Перечень таких агентов берется из соответствующего файла, по ним происходит проверка соответствия. Если агент совпал, блочим. Если нет, идем дальше по правилам.
- Пустой user-agent - при включенной в настройках этой опции весь трафик с пустым агентом блокируется.
- Только мобильные - если стоит настройка пускать посетителей только с мобильных и проверка не удовлетворительна, то блочим и останавливаемся. Если же зашел с мобильного, то идем по правилам дальше.
- Не из поиска - если такие визиты запрещены и реф содержит в качестве источника одну из поисковых систем, то допускаем. Если включены разрешенные рефереры (следующий пункт), то переходим к следующему правилу. А если белые списки отключены, то блочим.
- Разрешенные рефереры - список сайтов, с которых трафик разрешен. Если есть вхождения из этой базы, то разрешаем визит. Если нет, то блокируем.
- Суммарное количество просмотров. Регулируется уже на домене в рамках сессии без обращения к фильтрам. На ботов не распространяется.