Для фильтрации поступающего на сайты трафика. Софт отсеивает плохих ботов, пропускает поисковых и записывает статистику по посетителям.

Настройки > Управление базой

База разрешенных и запрещенных рефереров, агентов и вхождений хранится в текстовых файлах построчно, сделано так для скорости анализа трафика, чтобы не обращаться к базе данных. Хранятся они построчно. 

В данном разделе вы дополняете или удаляете нужный вам фильтр, а именно:

Запрещенные рефереры

Реферер - это источник перехода. При переходе с выдачи Яндекса, в реферере будет yandex.ru, при переходе по какой-то ссылке в реферере будет домен и страница перехода. Если к вам идет рефспам, внесите домен-источник в этот список и трафик с него начнет блокироваться.

Запрещенные агенты

User-agent содержит информацию о посетителе, его браузер, язык и другая информация. Боты представляются там же. По юзер-агенту мы отделяем поисковых ботов от всех остальных. Так вот, для фильтрации различных сканеров типа Ahrefs мы используем этот файл. Такие сканеры не несут нам пользы, а нагрузку создают значительную. Например, SemRush на среднем сайте делал порядка ста тысяч просмотров в сутки.

Запрещенные урлы

Блокируется тот трафик, который запрашивает урлы, содержащие запрещенные вхождения. Как и 9 из 11 фильтров, это условие проверяется при первом визите.

Примеры использования:

• Попытки взлома за счет исполнения функций и инъекции
• Обращение к админке, которой в принципе нет на сайтах. Например, wp-admin, но на доменах нет WP, потому расцениваем это как парсер сайтов на WP с последующей попыткой брутфорса и блочим его.
• Обращение к портам, к которым обычный посетитель не стучится

Разрешенные рефереры

Запретив переходы не из поисковых систем, мы хотели бы пропускать трафик из соцсетей. Для этого нам нужно внести домены или части урлов (метки) в этот список.