Уважаемые коллеги! Прошу подтолкнуть в правильном направлении.
Допустим, задача такая:
сайт на Python'e содержит строку поиска, в которую пользователь может вбить произвольный текст.
Когда пользователь отправляет запрос, сайт должен спарсить последние заголовки с нескольких местных новостных сайтов, и при совпадении - вернуть пользователю текст подходящих заголовков и ссылок на соответствующие новости.
Вопрос очень общий: как подступиться к проектированию архитектуры такого приложения?
Пара более конкретных вопросов:
- если для каждого сайта будет свой небольшой скрипт-парсер, то их запускать последовательно или параллельно? Если параллельно, то как это делается?
- как (в общих чертах) реализовать отдачу результатов поиска пользователю по мере того, как сайты будут парситься?
(Очень не хватает теоретической senior'овской подготовки)Буду благодарен за любые, в том числе общие соображения и ссылки на что-то почитать по теме!