Кейс: поиск тем и разделов для essay-сайта
Задача
Построить каталог рефератов на базе имеющегося генератора, который берет небольшие фрагменты статей в Интернете по теме и предлагает посетителю знакомство с темой за счет коротких выдержек, с возможностью перехода на сайт-источник.
Проблема
Нужны темы рефератов с категориями. Парсинг работающего сайта не нравится из-за полного дублирования структуры и возможности абузы. Нужна уникальная или хорошо забытая база.
Решение
Решение довольно простое: найти дропнувшийся каталог рефератов и спарсить разделы с темами.
- В WebBear2 создаю проект essay
- В запросы добавляю один-единственный ключ "free essays"
- После сбора с архива и поиска свободных нажимаю на запрос и начинаю копать по дропам, сперва по тем, у которых максимальное количество страниц по колонке WAs.
- Довольно быстро нахожу большой каталог, который дропнулся в 2013 году со 100+ разделами и суммарно 30к тем.
- Пишу парсер, вытягиваю разделы и темы, заливаю в генератор, сайт готов.
