Для фильтрации поступающего на сайты трафика. Софт отсеивает плохих ботов, пропускает поисковых и записывает статистику по посетителям.
Юзер-агент - некоторые сведения о визите, в числе которых его браузер, ОСь, язык, и кто он, собственно, есть. Т.е. боты представляются откуда они именно в user-agent.
На этом этапе мы поднимаем файл с перечнем запрещенных агентов, которым мы блокируем доступ и баним по ip.
Баним мы: парсеры, граберы, анализаторы, китайских ботов и прочее, что создаёт нагрузку без взаимной выгоды.
Несколько примеров:
В стандарте 63 агента. Если что-то из них вам нужно пустить на сайт, удалите из списка соответствующую строку.