Софт для веб-деятельности в аренду
Авторизация арендатора

Привет, тут сдаётся в аренду нужный seo-софт с настроенным сервером. Выбирайте.

CapTDS2 40$ / mo Заказать

Для фильтрации поступающего на сайты трафика. Софт отсеивает плохих ботов, пропускает поисковых и записывает статистику по посетителям.

Оценка трафика > 4. Запрещенные юзер-агенты

Юзер-агент - некоторые сведения о визите, в числе которых его браузер, ОСь, язык, и кто он, собственно, есть. Т.е. боты представляются откуда они именно в user-agent. 

На этом этапе мы поднимаем файл с перечнем запрещенных агентов, которым мы блокируем доступ и баним по ip. 

Баним мы: парсеры, граберы, анализаторы, китайских ботов и прочее, что создаёт нагрузку без взаимной выгоды. 

Несколько примеров:

  • Боты Ahrefs, которые пылесосят страницы для сбора ссылочного. Особую нагрузку в ru-сегменте делает SEMrushBot. На сайт с 50к страницами и посещаемостью 1000 человек в сутки, но малым ссылочным портфелем, делал 80к визитов в сутки.
  • 360Spider - активный китайский бот
  • python-requests - парсер
  • Applebot
  • ia_archiver - бот веб-архива

В стандарте 63 агента. Если что-то из них вам нужно пустить на сайт, удалите из списка соответствующую строку.