Для фильтрации поступающего на сайты трафика. Софт отсеивает плохих ботов, пропускает поисковых и записывает статистику по посетителям.

Оценка трафика > 4. Запрещенные юзер-агенты

Юзер-агент - некоторые сведения о визите, в числе которых его браузер, ОСь, язык, и кто он, собственно, есть. Т.е. боты представляются откуда они именно в user-agent. 

На этом этапе мы поднимаем файл с перечнем запрещенных агентов, которым мы блокируем доступ и баним по ip. 

Баним мы: парсеры, граберы, анализаторы, китайских ботов и прочее, что создаёт нагрузку без взаимной выгоды. 

Несколько примеров:

• Боты Ahrefs, которые пылесосят страницы для сбора ссылочного. Особую нагрузку в ru-сегменте делает SEMrushBot. На сайт с 50к страницами и посещаемостью 1000 человек в сутки, но малым ссылочным портфелем, делал 80к визитов в сутки.
• 360Spider - активный китайский бот
• python-requests - парсер
• Applebot
• ia_archiver - бот веб-архива

В стандарте 63 агента. Если что-то из них вам нужно пустить на сайт, удалите из списка соответствующую строку.