Как сделать задержку при загрузке страницы при парсинге?
Хотел для некоторых своих целей, сделать парсинг созданого мною логера на iplogger.ru
Но проблемка в том, что при загрузке сайта со списком переходов по ссылке, идёт "Загрузка списка" и нужно подождать некоторое время пока она пройдёт. Так что при requests.get оно получит лишь данные сайта до того как он загрузил список.
Вот и интересно. Можно ли как-то сделать задержку, чтоб к примеру подключилось к сайту, и лишь спустя 10 секунд считало его?
Или же возможно как-то сделать обновление в переменной данных сайта (так же спустя 10 секунд)?
P.s. так как уже ночь, нормально выражать мысли сложно, поэтому, если нужны уточнения по вопросу, то в комментарии.
Загрузка делается браузером с помощью js отдельным запросом. Выяснить его и воспроизвести - обычная практика. Ждать тут бесполезно - ничего не произойдёт.
Нет, запросы работают по другому.
GET (как и другие, впрочем) всегда возвращает исходный код страницы. Посмотреть такой можно через CTRL+U. Все дополнительные подгрузки и прочие наовроты - либо фоновые запросы, либо работа JS скриптов.
Открывайте F12 - Network. Перезагружаете страницу, и смотрите, какие запросы отправляются. Скорее всего нужная информация будет во вкладке XHR. Собственно, находите нужный запрос и повторяете его. Если данных нет ни в одном запросе (что врядли, я думаю), то они подгрузились каким нибудь скриптом и парсить такое нужно уже через selenium
