Софт для веб-деятельности в аренду
Авторизация арендатора

Привет, тут сдаётся в аренду нужный seo-софт с настроенным сервером. Выбирайте.

Кейс: поиск тем и разделов для essay-сайта

Задача

Построить каталог рефератов на базе имеющегося генератора, который берет небольшие фрагменты статей в Интернете по теме и предлагает посетителю знакомство с темой за счет коротких выдержек, с возможностью перехода на сайт-источник.

Проблема

Нужны темы рефератов с категориями. Парсинг работающего сайта не нравится из-за полного дублирования структуры и возможности абузы. Нужна уникальная или хорошо забытая база.

Решение

Решение довольно простое: найти дропнувшийся каталог рефератов и спарсить разделы с темами.

  1. В WebBear2 создаю проект essay
  2. В запросы добавляю один-единственный ключ "free essays"
  3. После сбора с архива и поиска свободных нажимаю на запрос и начинаю копать по дропам, сперва по тем, у которых максимальное количество страниц по колонке WAs.
  4. Довольно быстро нахожу большой каталог, который дропнулся в 2013 году со 100+ разделами и суммарно 30к тем.
  5. Пишу парсер, вытягиваю разделы и темы, заливаю в генератор, сайт готов.