@Ankozar

Как устроен агрегатор новостей?

В учебных целях пишу свой агрегатор новостей. (браузерный, js, php).

Решил парсинг делать с помощью пхп. Открываю нужные сайты, смотрю как устроена лента, пишу метод парсинга с этого сайта. Для нескольких ресурсов, где новостные ленты строятся одинаково, сделал типовые методы.

Сейчас парсинг происходит так: запускаю php файл, который по по очереди обращается к каждому файлу метода, который уже парсит новости с сайтов и вносит заголовки, тексты и др. инфу в MySQL.

Вопрос: как правильно автоматизировать парсинг? Создавать для каждого метода задачу? Или создать задачу для php, который по очереди запускает каждый метод?

Сейчас два метода всего: один для одного сайта, один для группы сайтов. Что делать, когда методов будет много? (а, как я понимаю, из будет много)

Я просто не знаю, как устроены такие системы. Буду благодарен, если укажете, где это можно узнать (прочитать/посмотреть).
  • Вопрос задан
  • 124 просмотра
Решения вопроса 1
ThunderCat
@ThunderCat
{PHP, MySql, HTML, JS, CSS} developer
В бд заносите урл парсинга, метод и правила, опционально последнюю дату парсинга и время между парсингом. Выбираете все записи и по очереди проверяете условия времени, подходящие под условия запускаете на парсинг, все это выполняете по крону, крон настраиваете в зависимости от необходимости актуальности.
Ответ написан
Пригласить эксперта
Ваш ответ на вопрос

Войдите, чтобы написать ответ

Войти через центр авторизации
Похожие вопросы