Почему ничего не выводит парсер?

Question

[Дмитрий]

Добрый день, я написал код для парсинга главной страницы яндекса. Я хочу парсить топ-5 новостей, которые расположены над поисковой строкой. Вот мой код:

Headers = {'тут user-agent'}
url = 'https://yandex.ru/'

response = requests.get(url, headers=Headers)
soup = BeautifulSoup(response.text, 'html.parser')
items = soup.find_all('a', class_='home-link list__item-content home-link_black_yes')
for link in items[:5]:
    print(link.text)

Почему парсер, ничего не выводит?

Answer 1

[Dimonchik]

защита Яндекса

проверочное :

print(response .content)

Comments

[Дмитрий]

т.е мне нужно написать вместо link.text, response.content?Правильно я Вас понял?

[Dimonchik]

нет, так посмотреть что Яндекс возвращает

Answer 2

[Владимир Проскурин]

Вот этот код

soup.find_all('a', class_='home-link list__item-content home-link_black_yes')

ищет элементы, у которых есть все эти перечисленные классы, и больше не каких. т.е. вот следующий элемент будет найден

<a class="home-link list__item-content home-link_black_yes" ...

А тот, что у вас на странице яндекса, не будет найден

<a class="home-link list__item-content list__item-content_with-icon home-link_black_yes"

Почитайте тут https://www.crummy.com/software/BeautifulSoup/bs4/... там описано, что нужно делать в вашем случае.

Comments

[Дмитрий]

нет там решения.

[Владимир Проскурин]

Дмитрий, читайте ниже, там предложено использовать select

[Дмитрий]

Владимир Проскурин, Сделал и через select, и через attrs все равно не работает.

[Владимир Проскурин]

Дмитрий, Потому, что это CSS Selector, т.е. вы должны использовать особый синтаксис запросов.
В вашем случае запрос должен быть вот таким

items = soup.select('.home-link.list__item-content.home-link_black_yes')

Без пробелов, каждый класс начинается с точки.

Answer 3

[Uno]

в 4 beautifulSoup'e помоему по-другому селекция по классу происходит.
.find('a', {'class':'abcdef'})