Как распарсить сайт на Питоне?

Question

[AntonIgin]

Делаю сейчас парсинг по одному тутору. Вот код, который набрал:

import requests
from bs4 import BeautifulSoup

def main(url):
    print(parse(get_html(url)))
    
def get_html(url):
    response = requests.get(url)
    return response.text
def parse(html):
    soup = BeautifulSoup(html, 'lxml')
    table = soup.find_all('div', class_='listing__item  premium js-productBlock')
    return table
    
url = 'http://irr.ru/real-estate/apartments-sale/'

main(url)

В ответ пустой список. Не понимаю почему - я же вижу, что класс у контейнеров называется listing__item premium js-productBlock, но почему-то ни одного не находит. Что я делаю не так?

Answer 1

[Руслан]

А почему lxml, а не html.parser?
Я так делал, все находило:

soup = BeautifulSoup(page, "html.parser")
songitems = soup.findAll("div", "listenSongItem")

Comments

[AntonIgin]

а как быть, если класс составной? Я пробовал так:

table = soup.find_all('div', class_='listing__item.js-productBlock.js-similarAdvert')

Не сработало - пустой список. Как быть?

[Руслан]

AntonIgin: зачем вам указывать много классов? Ищите по одному из списка, по listing__item

[AntonIgin]

Руслан: Потому что с listing_item там появляется множество лишних контейнеров. Но я нашел в документации альтернативу - поиск по атрибутам. Там у контейнеров объявления есть свойства data-qa=listing__item, я учел это при фильтрации и получил то, что похоже на нужный результат. Ну, как мне кажется.

Спасибо за отклик. :-)

[Руслан]

AntonIgin: можно и по атрибуту, на будущее(если атрибута не будет =) ): все равно потом в цикле что-то с результатами делать, можно просто проверить наличие другого класса и пропустить его обработку.

[AntonIgin]

Руслан: еще такой вопрос: а как отфильтровать уже отфильтрованный код?

Пробовал делать так, выдает ошибку:

table = soup.find_all('div', class_='listing__itemTitle').find_all('span')

И еще вопрос: а как не выделить нужное, а отсеять лишнее? Допустим, я хочу получить надпись, но она на странице не обернута ни в какие теги. Мне кажется, в таких случаях надо отсекать все остальное, чтобы осталась нужная надпись. Есть ли такая функция в BS4?

P.S. Уже разобрался: цикл for и find выручают.

Answer 2

[Евгений]

Внимательно читайте документацию: https://www.crummy.com/software/BeautifulSoup/bs4/...

Ищите либо по одному имени класса, либо перечисляйте их ровно так же, как они написаны в исходнике страницы, либо используйте регулярное выражение или функцию. .find_all недостаточно умен, чтобы знать как интерпретировать атрибут class.

Comments

[AntonIgin]

Так вот же:
soup.find_all("a", class_="sister")
И тэг, и класс.

Попробовал у себя сделать так:

table = soup.find_all(class_='listing__item  premium js-productBlock')

Все равно пустой список. Я вас, видимо, не так понимаю. Пробовал просто оставить "listing__item" и ".listing__item", но в первом случае вообще выдает ошибку кодировки, а во втором опять пусто.

[AntonIgin]

"listing__item.premium.js-productBlock" тоже пробовал - тоже пустой список выдает.

[Евгений]

AntonIgin: Да, не поняли. find_all - не понимает семантику HTML/CSS, он тупо ищет текстовое совпадение. А encoding error от того, что в консоль надо выводить закодированные в utf-8 данные: print(data.encode('utf-8') (если это не консоль Windows, там не знаю, что используется, возможно cp-1251 до сих пор).

[AntonIgin]

Евгений: ни cp1251, ни cp866, ни utf-8 не помогают.

[AntonIgin]

Евгений: пробую выводить просто в консоли, при некоторых именах контейнеров все срабатывает нормально.

вот есть имя класса listing__item js-productBlock js-similarAdvert. Его ведь надо указывать так?

table = soup.find_all('div', class_='listing__item.js-productBlock.js-similarAdvert')

Answer 3

[Дмитрий]

table = soup.select('div.listing__item.js-productBlock.js-similarAdvert')

или

table = soup.find_all('div', {'class': ['listing__item', 'js-productBlock', 'js-similarAdvert']})