Не получается спарсить, что делаю не так?

Question

[RimMirK]

url = f'https://ru.beincrypto.com/price/'
r = requests.get(url)
print(len(r.text)) # 7078
soup = bs(r.text, 'lxml')
trs = soup.find("tr", { "data-id" : "bitcoin" })
print(trs)

на сайте есть такой тег с таким аттрибутом:<tr data-id="bitcoin" class="">

spoiler

r.text не пустой. что делаю не так?

Answer 1

[Максим Припадчев]

у тебя у r status_code 403. Добавь хоть какой нибудь header.

headers = {
  'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; rv:91.0) Gecko/20100101 Firefox/91.0'
}
r = requests.get(url,headers=headers)

Вот так сервер пришлет html.
Имей также ввиду что парсить интерактивно (в рамках одного соединения) с bs не получится, придется переподключаться часто ну и схватишь блок или ерунду начнет присылать в ответ. Если ты перейдешь на страницу, зайдешь в инспектор, нажмешь на значек настройка в панели инспектора, затем поставишь галочку Disable JavaScript и обновишь страницу, вся инфа на странице перестанет обновляться. По скольку обновление происходит средствами JavaScript a bs не работает с JavaScript.

Comments

[RimMirK]

мне разово надо. Я про юзер агент знаю, парсил другой сайт, и все ок было. Тут длинна спарсиного 7к символов, вот и подумал что все ок, а оказалось там джаваскрипта на 5к симв.

[RimMirK]

интересно, ваш юзер агент работает, а мой нет

[Максим Припадчев]

RimMirK, Это парсинг, сегодня мой работает а завтра не факт. Лучше иметь их кучу и выбирать случайно.