Как пасить сайт в котором контент выводиться с задержкой?

Question

[Дмитрий]

Суть в том что есть сайт на котором авторизуешься переходишь на нужную страницу и там после загрузки основной инормации подгружаются дополнительные данные в html таблицу, вопрос: как дождаться погрузки дополнительной информации и распарсить ее пробовал связку requests + bs4 не могу понять как сделать паузу чтобы дождаться подгрузку элементов,
selenium не предлогать

Answer 1

[nirvimel]

Существует такая вкладка в Network в Developer Tools в браузере, там отображаются все сетевые запросы исходящие с активной страницы. Смотрите что запрашивается в момент перед погрузкой основного контента. Переписываете этот запрос на Python. Все!
Единственное, иногда для корректной работы AJAX могут потребоваться куки с основной страницы. Тогда делаете requests сессию запрашиваете основную страницу (сама она не понадобиться), после чего в той же открытой сессии выполняете нужный AJAX.

Comments

[Дмитрий]

ситуация твкая сначала загружается основная страница st_wlan.php через пару секунд подгружается getcfg.php который через js скидывает информацию в основной файл подскажи как это сделать

[nirvimel]

Дмитрий: Объяснил же:
1. В браузере через панель разработчика смотрим какие запросы реально отправляются.
3. На питоне пишем отправку таких же запросов.
...
PROFIT.

[Дмитрий]

nirvimel: от поста получаю это

Request URL:192.168.0.1:8080/getcfg.php
Request Method:POST
Status Code:200 OK
Remote Address:192.168.0.1:8080
Response Headers
view parsed
HTTP/1.1 200 OK
Server: Linux, HTTP/1.1, DIR-860L Ver 1.08
Date: Sat, 11 Feb 2017 08:55:03 GMT
Transfer-Encoding: chunked
Content-Type: text/xml
Request Headers
view source
Accept:*/*
Accept-Encoding:gzip, deflate
Accept-Language:ru,en;q=0.8,en-US;q=0.6
Cache-Control:no-cache
Connection:keep-alive
Content-Length:77
Content-Type:application/x-www-form-urlencoded
Cookie:
Host:192.168.0.1:8080
Origin:192.168.0.1:8080
Pragma:no-cache
Referer:192.168.0.1:8080/st_wlan.php
User-Agent:Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/56.0.2924.87 Safari/537.36
Form Data
view source
view URL encoded
SERVICES:WIFI.PHYINF,RUNTIME.INF.LAN-1,RUNTIME.INF.LAN-2,RUNTIME.PHYINF

что в питоне описать я не понимаю(

[nirvimel]

У вас тут POST посмотрите его параметры (там в Network на соседней вкладке).
Потом делайте все по документации.

[Дмитрий]

nirvimel: вот по документации и пытался не получилось ничего поэтому тут и спрашиваю то что в POST вижу прислал выше что с этим далее сделать не понимаю тк это php файл

[nirvimel]

Это не php файл. Это просто URL, то есть просто адрес.

[Дмитрий]

nirvimel: тогда я ничего не понимаю этот getcfg.php содержит в себе xml с информацией которая как я понимаю с помощю js вставляется в таблицу вот кк бы мне эту страничку получить которая уже получила данные
я непонимаю никак

[nirvimel]

Дмитрий: Отправить запрос по этому адресу и прочитать ответ. Блин, ну что тут непонятного!

[Дмитрий]

nirvimel: что не понятно я описал выше: НИЧЕГО!
я зашел на сайт авторизовался перешел на нужную страницу
а как бальше получить информацию я не понимаю, еслибы было все понятно неужели я спрашивал бы?

[Дмитрий]

nirvimel: можно подробней написать что и куда, а не посылать гуглить или документацию читать, елибы там все было понятно написано то я бы тут не задавал вопросы

[nirvimel]

Дмитрий: Объяснить можно конкретный вопрос. Но когда непонятно ничего, то и непонятно что тут объяснять.

[Дмитрий]

nirvimel: конкретней есть сайт как уже неаверное догадались это вэбморда роутера нужно получить список подключившихся к вайфай он находиться на странице st_wlan.php но появляется там после загрузки основной информации так вот как бы мне получить эти таблицы с подключившимися

[Дмитрий]

nirvimel: у меня есть пост запрос данный из него но как мне эти данныt систематизировать как в браузере

Answer 2

[Дмитрий]

Как работать с ajax

Comments

[Дмитрий]

ситуация твкая сначала загружается основная страница st_wlan.php через пару секунд подгружается getcfg.php который через js скидывает информацию в основной файл подскажи как это сделать

[Дмитрий]

Посмотреть что за post запрос передается серверу и какой ответ от него приходит. Потом изобразить все это через requests

[Дмитрий]

Дмитрий: Request URL:192.168.0.1:8080/getcfg.php
Request Method:POST
Status Code:200 OK
Remote Address:192.168.0.1:8080
Response Headers
view parsed
HTTP/1.1 200 OK
Server: Linux, HTTP/1.1, DIR-860L Ver 1.08
Date: Sat, 11 Feb 2017 08:55:03 GMT
Transfer-Encoding: chunked
Content-Type: text/xml
Request Headers
view source
Accept:*/*
Accept-Encoding:gzip, deflate
Accept-Language:ru,en;q=0.8,en-US;q=0.6
Cache-Control:no-cache
Connection:keep-alive
Content-Length:77
Content-Type:application/x-www-form-urlencoded
Cookie:
Host:192.168.0.1:8080
Origin:192.168.0.1:8080
Pragma:no-cache
Referer:192.168.0.1:8080/st_wlan.php
User-Agent:Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/56.0.2924.87 Safari/537.36
Form Data
view source
view URL encoded
SERVICES:WIFI.PHYINF,RUNTIME.INF.LAN-1,RUNTIME.INF.LAN-2,RUNTIME.PHYINF

приходит это но как это изобразить документацию прочитал но ничего непонял(((

[Дмитрий]

Дмитрий: столкнулся с проблемой работы с ajax в том примере все мудрено не могу разобрать никак есть страница основная при ее загрузке идет post запрос в котором есть таблица xml далее js это формирует в на странице в таблицу, но я никак не могу понять как сделать так это????