Парсинг сайта Python + Beautifulsoup. Ждущий паук?

Question

[Сергей Явин]

Подскажите студенту какими методами можно заставить ждать парсер? Цель: скрипт должен сидеть на сайте до тех пор пока окончательные данные не будут показаны (примерно 10 мин). Данные добавляются в таблицу с разным промежутком времени.

Comments

[AWEme]

Посмотри в инспекторе откуда подгружаются эти данные, может и не нужно ничего ждать, а сразу сделать нужные запросы.

Answer 1

[coderisimo]

Здесь нужен Selenium WebDriver и его "ожидания"
хабр

Comments

[Сергей Явин]

Спасибо, буду дальше зубрить.

[coderisimo]

Сергей Явин, там не надо зубрить. Просто вы управляете браузером, который делает то, что вы напишите на Python,Ruby,Java итд. Соответственно, JS выполняется, как положено. Скорость, конечно, не такая ,как в обычном парсинге, но в вашем случае, как я понимаю, это не критично.

Answer 2

[Александр]

А почему бы не взглянуть на их "добавление" изнутри и выполнять эти запросы из скрипта? Вот если там что-то шифруется через JS и параметры "непонятно" закодированные в запросе - тогда да - нужен Selenium.

Comments

[Сергей Явин]

Спасибо за совет но я не представляю как это делается) Это мой первый парсер.

[Александр]

Открывается "консоль разработчика" в браузере, кладка "Network" смотрите какие запросы были сделаны при появлении данных - там есть тело запроса, можно увидеть все заголовки отправленные браузером. Находите нужный запрос путем анализа принятых данных. Если данные легко читаются(JSON,XML,TXT) - то берете и пользуетесь. Если авторизации нет то проще. А если есть то, при авторизации отправляете пользователь и пароль получаете Cookie заголовок session, потом его отправляете со всеми остальными запросами.

[Сергей Явин]

Александр, А как быть если этих json много и нужно как то вытаскивать за раз 5 штук (с перерывом 10 - 15 минут)? Я хочу автоматизировать этот процесс но не знаю как.

[Александр]

Запускать код раз в 10...15 минут(через системный планировщик), складывать результат в файл/базу. За раз 5 штук - это не через 10...15 минут, а раз в час обрабатывать файл с накопленными результатами - передавая их дальше.

[Сергей Явин]

Александр, Спасибо вам большое за совет. Вроде стало получаться!