Парсинг сайта через requests и bs4, как расширить таблицу для парса?

Question

[Elick]

Есть сайт 777score.ru. На скрине представлена таблица на этом сайте (20 строк), под ней кнопка которая добавляет еще 20 строк к этой таблице, после ее нажатия к параметру data-iteration прибавляется единица. Мне нужно сделать так, чтобы при парсинге страницы было открыто определенное число строк (а не только 20), подскажите как это сделать.
PS. ссылка на страницу никак не меняется при нажатии на кнопку, и на данный момент я не могу спарсить больше 20ти строк из этой таблицы, использую Python 3

Answer 1

[byrew]

при посещении сайта, не могу отобразить страницу как у вас, а значит вопрос не много не корректный. Подкорректируйте адрес посещения страницы, чтобы люди могли Вам помочь.

При нажатии на кнопку отрабатывает функция встроенная в сайт, js функция, которая отправляет данный POST запрос с json данными.

Вариант 1 - лёгкий, перейти на selenium
Вариант 2 - более тернистый путь, исследовать запрос, создать аналог заголовков, и попробовать в сессии послать его , без прерываний соединения.

Comments

[byrew]

так же , можете попробовать сразу отправить заголовок, по типу:

Host: 777score.ru
User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:79.0) Gecko/20100101 Firefox/79.0
Accept: text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,*/*;q=0.8
Accept-Language: ru-RU,ru;q=0.8,en-US;q=0.5,en;q=0.3
Accept-Encoding: gzip, deflate, br
Upgrade-Insecure-Requests: 1
Connection: keep-alive
Cookie: __cfduid=d74bad203950df602cc97fc6efd8941801597906453; AWSALB=8yDL5RBLHAxDZNNNHMT/4z3T7EqnX5sZtss5iIJzWoSLO1eqbhp3QfQIUxcbKe9mTbH6wf8bJSr15ANmHkFMp8xPlnC9CW2wqHdw8mbZxcj8YOiprETG6py8wkfW; AWSALBCORS=8yDL5RBLHAxDZNNNHMT/4z3T7EqnX5sZtss5iIJzWoSLO1eqbhp3QfQIUxcbKe9mTbH6wf8bJSr15ANmHkFMp8xPlnC9CW2wqHdw8mbZxcj8YOiprETG6py8wkfW; device_view=full; GN_USER_ID_KEY=aef0095d-f436-4c01-b43f-ba2f6fab3d6a; GN_SESSION_ID_KEY=f7d93047-1658-4603-b508-5b1a66eec03d; pageviewCount=17; _ym_uid=1597906460236676632; _ym_d=1597906460; _ga=GA1.2.692691891.1597906461; _gid=GA1.2.335308480.1597906461; _fbp=fb.1.1597906462309.1548962519; _ym_wasSynced=%7B%22time%22%3A1597906462337%2C%22params%22%3A%7B%22eu%22%3A0%7D%2C%22bkParams%22%3A%7B%7D%7D; _ym_isad=1; _ym_visorc_53179414=w; approvedAgreement=true; gravitecOptInBlocked=true; matchList=cyber-sport; _ym_hostIndex=0-2%2C1-0
Cache-Control: max-age=0
TE: Trailers
Content-Length: 286
Referer: https://777score.ru/football/tournaments/others/pro-soccer-league/results

[Валерий Мамонтов]

byrew rewen, думаю, ссылка такая

[byrew]

Валерий Мамонтов, спасибо, догадался , по заголовкам примерно такая же )))

[Elick]

Отправил пост запрос, все получилось, причем в заголовках было достаточно написать только юзер агент. Спасибо за помощь