Как при парсинге прогрузить сразу весь код сайта?

Question

[DarkiDeuce]

При парсинге сайта не могу вернуть все элементы. На сайте их много и в коде они отображаются только по мере продвижения по сайту. То есть пока не дойдёшь до конца страницы, новые элементы не появляются ни на самом сайте, ни в коде сайта. Из 1567 элементов парсится только 51. Как сделать так, чтобы все элементы отображались сразу, а не подгружались в процессе листания сайта?

Использую библиотеку BeautifulSoup

Код парсера для ознакомления:

import requests
from bs4 import BeautifulSoup
from fake_useragent import UserAgent

URL = "https://magnit.ru/promo/"
ua = UserAgent()
headers = {"Accept" : "text/html,application/xhtml+xml,application/xml;q=0.9,image/avif,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3;q=0.9",
           "User-Agent" : ua.random}

cookies = {"mg_geo_id" : "13265"}

r = requests.get(url=URL, headers=headers, cookies=cookies)

soup = BeautifulSoup(r.text, "html.parser")

card = soup.find_all("a", class_="card-sale_catalogue")

for i in card:
    try:
        print(i.find("div", class_="card-sale__title").text)
    except AttributeError:
        continue

Answer 1

[Артем]

Тебе нужно отследить какой запрос именно отправляется при прогрузке страницы

Comments

[DarkiDeuce]

Как это сделать? В коде сайта после последнего спаршеного элемента находится элемент : : after

[Артем]

DarkiDeuce, Вот так... В data нужно передавать номер "стриницы", в нашем случае, при скроле появляется страница и передается новый page ...

import requests

cookies = {
    'PHPSESSID': '020cqd40sl6d4hf1it3qj31hsf',
    'mg_geo_id': '2398',
    '_ga': 'GA1.2.847220501.1663434030',
    '_gid': 'GA1.2.572976887.1663434030',
    '_ym_uid': '16634340311009022023',
    '_ym_d': '1663434031',
    '_clck': '13bgbpl|1|f4y|0',
    '_ym_isad': '1',
    'BX_USER_ID': '705ef92adb20a15d972706dfd014ce49',
    '_clsk': '1xvbset|1663436095612|1|1|b.clarity.ms/collect',
}

headers = {
    'Accept': '*/*',
    'Accept-Language': 'ru,en;q=0.9',
    'Connection': 'keep-alive',
    'Content-Type': 'application/x-www-form-urlencoded; charset=UTF-8',
    # Requests sorts cookies= alphabetically
    # 'Cookie': 'PHPSESSID=020cqd40sl6d4hf1it3qj31hsf; mg_geo_id=2398; _ga=GA1.2.847220501.1663434030; _gid=GA1.2.572976887.1663434030; _ym_uid=16634340311009022023; _ym_d=1663434031; _clck=13bgbpl|1|f4y|0; _ym_isad=1; BX_USER_ID=705ef92adb20a15d972706dfd014ce49; _clsk=1xvbset|1663436095612|1|1|b.clarity.ms/collect',
    'Origin': 'https://magnit.ru',
    'Referer': 'https://magnit.ru/',
    'Sec-Fetch-Dest': 'empty',
    'Sec-Fetch-Mode': 'cors',
    'Sec-Fetch-Site': 'same-origin',
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/102.0.5005.167 YaBrowser/22.7.5.1027 Yowser/2.5 Safari/537.36',
    'X-Requested-With': 'XMLHttpRequest',
    'sec-ch-ua': '" Not A;Brand";v="99", "Chromium";v="102", "Yandex";v="22"',
    'sec-ch-ua-mobile': '?0',
    'sec-ch-ua-platform': '"Windows"',
}

data = {
    'page': '7',
}

response = requests.post('https://magnit.ru/promo/', cookies=cookies, headers=headers, data=data)

[Артем]

Если задашь вопрос, что то типа " а как узнать сколько page вообще?", я тебе отвечу, "бегло код сайта глянул, не нашел.. Либо ищи самостоятельно, может где то из какого нибудь ajax и прилетает это значение... А можешь элементарно парсить циклом с увеличением page, пока не прекратится появление нового контента"
Удачи )

[DarkiDeuce]

Спасибо, друг. Очень помог:) Всех благ тебе:)

[Артем]

DarkiDeuce, Не за что, обращайся ) Если что, вот тебе ссыль полезного ресурса ) В начале, очень поможет тебе в построении нормальных запросов )