Как спарсить html страницы?

Question

[Pivacik]

Есть сайт, на котором перед просмотром нужно авторизоваться.
Дальше есть список товаров доступный по ссылке вида http://.....ru/product/id/71680
Суть в том что в окне браузера часть информации скрыта, но есть перейти в панель разработчика (пробовал в хроме) и во вкладке sources сохранить эту страницу в виде 71680.html и открыть локально, то будет доступна вся информация.
Подскажите как можно автоматизировать этот процесс?

UPD: Сейчас проверил, не обязательно заходить в панель разработчика, достаточно просто сохранить документ не полностью а только html.

Comments

[Шамуэй]

через selenium

Answer 1

[Олег]

Если видна информация в ПР, то она скорее всего скрыта js.
При парсинге получаешь всю страницу, включая скрытый контент.

Answer 2

[Aleksey Solovyev]

Как-то можно посмотреть скрытую информацию на сайте? Какой-то js код(метод), который после нажатия показывает информацию.

Тут два варианта решения:
1. Разбираться как метод работает и написать свой, который будет вызывать его
2. Имитировать клик

Для примера как работает клик на selenium:

driver = webdriver.Firefox()
driver.get("http://www.google.ca")
element = driver.find_element_by_link_text("Gmail")
element.click()

Comments

[Pivacik]

Как-то можно посмотреть скрытую информацию на сайте? Какой-то js код(метод), который после нажатия показывает информацию.

Нет, полная информация доступна для пользователей с большими правами.

[Aleksey Solovyev]

Чего? Вы же написали:

во вкладке sources сохранить эту страницу в виде 71680.html и открыть локально, то будет доступна вся информация.

Значит она хранится на сайте. Значит есть метод, который ее скрывает или который будет ее показывать(добавляет какой-то класс со стилями)

Так или иначе, если нужная информация есть на сайте(вы сами написали, что она доступна, если скачать файл), то простой BeautifulSoup сможет ее достать:

from bs4 import BeautifulSoup

response = requests.get(url) # auth logic and etc
html = response.text
soup = BeautifulSoup(html, 'lxml')
data = soup.find_all('div', id='some-id') # tag with information
print(data)

Как видно из примера/ BeautifulSoup скачивает точно такой же html(71680.html) документ как и Вы. И парсит именно текстовой документ. По аналогии работает selenium и любой другой парсер. Надо только добавить логику авторизации и переход по ссылкам