Как организовать регулярный парсинг?

Суть такова: пользователь делает запрос боту, а он, на основании парсинга 5 сайтов выдает результат. По пол секунды парсинга на сайт и выходит достаточно долго. Парсить раз в n секунд и выдавать данные, которые уже хранятся на сервере? Как это лучше всего сделать на python? Вроде как urllib3 может в потоки, но я не очень представляю как такое организовать. Заранее спасибо
  • Вопрос задан
  • 1054 просмотра
Решения вопроса 2
xmoonlight
@xmoonlight
https://sitecoder.blogspot.com
1. Парсить параллельно (асинхронно) и записывать результат в базу.
2. Пользователю - показать прелоадер пока не будут собраны данные.
3. Результат парсинга - выдаём всегда из базы.
Ответ написан
igos321
@igos321 Автор вопроса
Мне помогло вот это. В методе run в цикле загружаем сайт, парсим, блокируем структуру, в которую загружаем данные, задержка и заново. В другом методе блокируем эту структуру и используем.
Ответ написан
Пригласить эксперта
Ваш ответ на вопрос

Войдите, чтобы написать ответ

Войти через центр авторизации
Похожие вопросы