@wer_erwq

Почему при парсинге Амазона приходится делать много запросов чтобы не получить None?

Если использовать это код для других сайтов тогда всё выводится с первой попытки.

import requests
from bs4 import BeautifulSoup
headers = {"User-Agent": 'Mozilla/5.0 (Windows NT 6.1; Win64; x64; rv:47.0) Gecko/20100101 Firefox/47.0'}
URL = "https://www.amazon.com/Apple-MLWK3AM-A-AirPods-Pro/dp/B09JQMJHXY/ref=sr_1_1?keywords=Apple&qid=1644178767&sr=8-1"
a = []

while True:
    page = requests.get(URL, headers=headers)
    soup = BeautifulSoup(page.content, 'html.parser')
    n = soup.find(id="title")
    if n == None:
        a.append(n)

    if n != None:
        print(f"{a}\n{n}")
        break
  • Вопрос задан
  • 65 просмотров
Пригласить эксперта
Ваш ответ на вопрос

Войдите, чтобы написать ответ

Войти через центр авторизации
Похожие вопросы