MinTnt
@MinTnt

Как сделать задержку при загрузке страницы при парсинге?

Хотел для некоторых своих целей, сделать парсинг созданого мною логера на iplogger.ru
Но проблемка в том, что при загрузке сайта со списком переходов по ссылке, идёт "Загрузка списка" и нужно подождать некоторое время пока она пройдёт. Так что при requests.get оно получит лишь данные сайта до того как он загрузил список.

Вот и интересно. Можно ли как-то сделать задержку, чтоб к примеру подключилось к сайту, и лишь спустя 10 секунд считало его?
Или же возможно как-то сделать обновление в переменной данных сайта (так же спустя 10 секунд)?

P.s. так как уже ночь, нормально выражать мысли сложно, поэтому, если нужны уточнения по вопросу, то в комментарии.
  • Вопрос задан
  • 66 просмотров
Решения вопроса 1
SoreMix
@SoreMix
yellow
Нет, запросы работают по другому.
GET (как и другие, впрочем) всегда возвращает исходный код страницы. Посмотреть такой можно через CTRL+U. Все дополнительные подгрузки и прочие наовроты - либо фоновые запросы, либо работа JS скриптов.

Открывайте F12 - Network. Перезагружаете страницу, и смотрите, какие запросы отправляются. Скорее всего нужная информация будет во вкладке XHR. Собственно, находите нужный запрос и повторяете его. Если данных нет ни в одном запросе (что врядли, я думаю), то они подгрузились каким нибудь скриптом и парсить такое нужно уже через selenium
Ответ написан
Пригласить эксперта
Ваш ответ на вопрос

Войдите, чтобы написать ответ

Войти через центр авторизации
Похожие вопросы