Кейс: поиск тем и разделов для essay-сайта

Задача

Построить каталог рефератов на базе имеющегося генератора, который берет небольшие фрагменты статей в Интернете по теме и предлагает посетителю знакомство с темой за счет коротких выдержек, с возможностью перехода на сайт-источник.

Проблема

Нужны темы рефератов с категориями. Парсинг работающего сайта не нравится из-за полного дублирования структуры и возможности абузы. Нужна уникальная или хорошо забытая база.

Решение

Решение довольно простое: найти дропнувшийся каталог рефератов и спарсить разделы с темами.

1. В WebBear2 создаю проект essay
2. В запросы добавляю один-единственный ключ "free essays"
3. После сбора с архива и поиска свободных нажимаю на запрос и начинаю копать по дропам, сперва по тем, у которых максимальное количество страниц по колонке WAs.
4. Довольно быстро нахожу большой каталог, который дропнулся в 2013 году со 100+ разделами и суммарно 30к тем.
5. Пишу парсер, вытягиваю разделы и темы, заливаю в генератор, сайт готов.