Как организовать регулярный парсинг?

Question

[Игорь Фоминых]

Суть такова: пользователь делает запрос боту, а он, на основании парсинга 5 сайтов выдает результат. По пол секунды парсинга на сайт и выходит достаточно долго. Парсить раз в n секунд и выдавать данные, которые уже хранятся на сервере? Как это лучше всего сделать на python? Вроде как urllib3 может в потоки, но я не очень представляю как такое организовать. Заранее спасибо

Comments

[Saboteur]

Если устроит парсинг с точностью до минуты, сделайте через cron.

Answer 1

[xmoonlight]

1. Парсить параллельно (асинхронно) и записывать результат в базу.
2. Пользователю - показать прелоадер пока не будут собраны данные.
3. Результат парсинга - выдаём всегда из базы.

Comments

[Игорь Фоминых]

Спасибо, думаю это самый верный вариант, а как Асинхронно загрузить и ожидать еще потом результата на питоне не подскажете?

[xmoonlight]

Игорь Фоминых: к сожалению, сейчас не вожу питон... поэтому - никак :(

[Олег Правдин]

Игорь Фоминых: Я думаю с асинхронностью в питоне будут проблемы. Почитайте про GIL

[Игорь Фоминых]

Олег Правдин: я уже разобрался, чуть позже выложу свое решение

[Олег Правдин]

Игорь Фоминых: Было бы очень интересно почитать. Тоже занимаюсь парсингом на питоне, но вопроса об асинхронности пока не было.

[xmoonlight]

Игорь Фоминых: Если мой ответ помог - не могли бы Вы отметить его решением вопроса? Заранее, Спасибо.

Answer 2

[Игорь Фоминых]

Мне помогло вот это. В методе run в цикле загружаем сайт, парсим, блокируем структуру, в которую загружаем данные, задержка и заново. В другом методе блокируем эту структуру и используем.

Comments

[Игорь Фоминых]

Возможно плохо поступаю, но надеюсь это поможет кому-то

[xmoonlight]

Игорь Фоминых: Возможно: я тоже надеялся на зелёную галочку....

[Игорь Фоминых]

xmoonlight: будем откровенны, то, что вы сказали уже было у меня в голове, необходима была помощь в реализации, но мне не принципиальное

[xmoonlight]

Игорь Фоминых: не спорю, но то, что Ваше мнение кто-то подтвердил - тоже работа. А тем более - мой ответ получил львиную долю голосов.
Реализация - это кодирование алгоритма. А алгоритм - есть.
Спасибо в любом случае, что подкинули интересную задачку - другим эта информация тоже будет полезна.