Для фильтрации поступающего на сайты трафика. Софт отсеивает плохих ботов, пропускает поисковых и записывает статистику по посетителям.
База разрешенных и запрещенных рефереров, агентов и вхождений хранится в текстовых файлах построчно, сделано так для скорости анализа трафика, чтобы не обращаться к базе данных. Хранятся они построчно.
В данном разделе вы дополняете или удаляете нужный вам фильтр, а именно:
Запрещенные рефереры
Реферер - это источник перехода. При переходе с выдачи Яндекса, в реферере будет yandex.ru, при переходе по какой-то ссылке в реферере будет домен и страница перехода. Если к вам идет рефспам, внесите домен-источник в этот список и трафик с него начнет блокироваться.
Запрещенные агенты
User-agent содержит информацию о посетителе, его браузер, язык и другая информация. Боты представляются там же. По юзер-агенту мы отделяем поисковых ботов от всех остальных. Так вот, для фильтрации различных сканеров типа Ahrefs мы используем этот файл. Такие сканеры не несут нам пользы, а нагрузку создают значительную. Например, SemRush на среднем сайте делал порядка ста тысяч просмотров в сутки.
Запрещенные урлы
Блокируется тот трафик, который запрашивает урлы, содержащие запрещенные вхождения. Как и 9 из 11 фильтров, это условие проверяется при первом визите.
Примеры использования:
Разрешенные рефереры
Запретив переходы не из поисковых систем, мы хотели бы пропускать трафик из соцсетей. Для этого нам нужно внести домены или части урлов (метки) в этот список.