При парсинге данных получаю пустой список?

Question

[Kirill_Zet]

Как и сказано в вопросе, парсер все время возвращает пустой список.
Вот кусок, который надо спарсить, а именно, числовое значение:

Скриншот фрагмента кода удалён модератором.

вот моя прога:

import requests
from bs4 import BeautifulSoup
#https://www.youtube.com/watch?v=4L57oY3J378&t=328s
#dollar
DOLLAR_RUB='https://www.google.com/search?q=%D0%BA%D1%83%D1%80%D1%81+%D0%B4%D0%BE%D0%BB%D0%BB%D0%B0%D1%80%D0%B0+%D0%BA+%D1%80%D1%83%D0%B1%D0%BB%D1%8E&rlz=1C1GCEA_enRU945RU945&sxsrf=AJOqlzV-jCktFMo2ZMf38PNhsVXvwvHw6A%3A1677319707859&ei=G975Y_-RNKKprgSx8KWYDw&oq=%D0%BA%D1%83%D1%80%D1%81+%D0%B4%D0%BE%D0%BB%D0%BB%D0%B0%D1%80%D0%B0&gs_lcp=Cgxnd3Mtd2l6LXNlcnAQARgBMgoIABBHENYEELADMgoIABBHENYEELADMgoIABBHENYEELADMgoIABBHENYEELADMgoIABBHENYEELADMgoIABBHENYEELADMgoIABBHENYEELADMgoIABBHENYEELADMgcIABCwAxBDMgcIABCwAxBDSgQIQRgAUABYAGCqEGgBcAF4AIABAIgBAJIBAJgBAMgBCsABAQ&sclient=gws-wiz-serp'
headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.77 Safari/537.36'}
full_page = requests.get(DOLLAR_RUB,headers)
soup = BeautifulSoup(full_page.content, 'html.parser')
convert = soup.find_all('span',{'class': ['DFlfde', 'SwHCTb']})
print(convert)
print(full_page.status_code)

я что только не пробовал, класс по разному искал, но он дает пустой список, когда класс убираю - список не пустой.
пробовал даже запрос писать :

dollar = soup.find_all("span",attrs={"data-precision": 2,'class': ['DFlfde', 'SwHCTb']})

все равно ничего не выдает.
User-agent я тоже менял, ничего не изменилось

Лирика удалена модератором.

Comments

[Elon Mask]

convert = soup.find_all(class_='SwHCTb')
этого должно хватить

[Kirill_Zet]

Elon Mask, Спасибо, но у меня все равно возвращается пустой список

[Elon Mask]

Kirill_Zet, значит это поле меняется для каждого запроса и нужно искать другие точки опоры

[Kirill_Zet]

Elon Mask, Дело в том, что эта программа скопирована из ролика, там парень делал тоже самое с тем же сайтом, и у него все работало, вот ссылка на ролик: https://www.youtube.com/watch?v=4L57oY3J378&t=328s
я пытался на других сайтах сделать подобное, но всегда возвращается пустой список

[Модератор]

Фрагменты кода надо размещать в виде текста и оборачивать тэгом code для корректного отображения. Удобно делать кнопкой </>
Это обязательно, см.п.3.8 Регламента.
Сюда же относится traceback, ввод и вывод в консоли и другая структурированная текстовая инфа.

[Модератор]

Не надо ставить как можно больше тэгов. Лучше оставить один, но конкретный, с которым проблема.
См.п.3.1 Регламента. Также обратите внимание на п.3.4, 3.6

Answer 1

[Максим Припадчев]

soup.find_all('div',class_ = 'BNeawe iBp4i AP7Wnd')

Возможно вы не отключили JavaScript в инспекторе и видите элемент который не видит парсер. Вот код у меня он возвращает список из которого легко извлечь числовое значение. У меня работает.

Comments

[Kirill_Zet]

А как его отключить и что это вообще такое? а почему тогда в данном видосе у него все работает(https://www.youtube.com/watch?v=4L57oY3J378&t=328s)?

[Максим Припадчев]

Kirill_Zet, У вас сработал мой код?

[Kirill_Zet]

Да, спасибо, но я не понимаю где вы нашли эти классы и почему на видео работает а у меня нет.

[Максим Припадчев]

Kirill_Zet, Я понял сейчас попытаюсь, вам объяснить. (Просто перед тем что бы объяснять надо убедится что все работает). Если вы в БРАУЗЕРЕ переходите на страничку, вы можете правой кнопкой мыши щелкнуть и нажать inspect. У вас справа появится окошко, с кодом этой страницы. Так вот по умолчанию, там будет и javascript объекты. Которые данный парсер парсить не может. Вам нужно там же в этом окошке шелкнуть на кнопочку настроек и перейдя в настройки поставить галочку disable javascript. Затем обновить странице и вы увидите она стала выглядеть по другому. Затем закрыть настройки и теперь код в окошке это тот же самый код который получит ваш парсер. И в нем можно найти удобно элементы которые искать потом методом find_all уже из python скрипта. Так надо всегда делать, а то будешь видеть в окошке кода страницы одно а ПАРСЕР совсем другое. Что насчет ютуб видео, не знаю я его смотреть не собираюсь.

[Kirill_Zet]

Спасибо большое!

Answer 2

[Vaskey]

Проблема может быть связана с тем, что Google пытается заблокировать парсинг данных с его страниц. Одним из способов обойти это ограничение может быть использование API Google для получения курсов валют.

Comments

[Kirill_Zet]

Дело в том, что эта программа скопирована из ролика, там парень делал тоже самое с тем же сайтом, и у него все работало, вот ссылка на ролик: https://www.youtube.com/watch?v=4L57oY3J378&t=328s
я пытался на других сайтах сделать подобное, но всегда возвращается пустой список