Как спарсить сайт, где данные загружает js?

Question

[Rotyin]

Вот сайт:
https://stolichki.ru/drugs/guttalaks-kapli-vnutr-7...

Постепенно там подгружаеться данные про аптеки. Если спарсить сайт, то етих данных нет (атрибут tbody пуст). Но если подождать пока он прогрузиться нажать F12 то tbody уже не будет пуст. Как спарсить данные после выполнение js или как по другому? Помогите пж

Comments

[Yupiter7575]

Посмотреть откуда берет эти данные js, и взять их оттуда. Кстати чтобы это посмотреть нажимаете f12 > network

Answer 1

[x67]

в браузере зайди в консоль разработчика раздел "сеть"
нажми на кнопку для подгрузки новой инфы на сайте
В консольке появится новый запрос - с помощью этого запроса страничка получает данные, которые и выводит пользователю. Тебе нужно сделать точно такой же запрос но со своими параметрами в питоне - для этого удобнее всего использовать библиотеку requests
Обрати внимание на урл запроса, тип (get, post, put) и хедеры запроса - их лучше скопировать из браузера

Answer 2

[When you dont want to litter on stackoverflow]

Network, XHR (консоль разработчика в хроме ) изучи какие запросы делает фронт при каких действиях и просто отправляй те же запросы меняя url и тело запроса под свои нужды.
Не предпочитаемая альтернатива: Selenium