Задать вопрос
rundll32
@rundll32

Как устроены сайты-агрегаторы или сайты-парсеры?

Я занимался десктопными парсерами или грабберами, работа которых заключалась в сборе информации в момент запуска. Но я сталкивался с сайтами, (например, ка.ру), которые представляют из себя переведённые (но не обязательно) версии других сайтов, есть просто агрегаторы, которые сохраняют данные о страницах в соцсетях. Собственно вопрос: на сервере таких сайтов существует некая задача в планировщике, запускающая программу-парсер, которая генерирует html? Вряд ли же в момент создание php сессии происходят все эти длительные манипуляции.
P.S. Я понимаю, что вряд ли тут есть разработчики подобных сайтов, но если вы не можете ответить про процессы в перечисленных видах сайтов, то скажите, как в теории подобное может обстоять.
  • Вопрос задан
  • 274 просмотра
Подписаться 1 Простой 1 комментарий
Пригласить эксперта
Ответы на вопрос 2
@alekssamos
Программист любитель
Ну да. Фоновая задача парсит и пишет свои результаты в базу данных. А сайт читает базу и показывает, что сейчас происходит.
Ответ написан
Комментировать
@procode
Разработчик
Обычная ЦМСка, у которой по крону фоном работает бот и таскает обновления с сайтов, переводит, и складывает их в базу, и выводит по запросу браузера или поисковика.
Ответ написан
Комментировать
Ваш ответ на вопрос

Войдите, чтобы написать ответ

Похожие вопросы