Как на python скачать html страницу?

Question

[Ася]

Как на питоне (или хотя бы в терминале) сделать действие аналогичное скачиванию страницы в хроме:


то есть не просто requests.get(link) потому что оно возвращает не все что нужно, а именно действие аналогичное скачиванию страницы

при попытке wget link выдает ERROR 403: Forbidden

при этом из любого браузера все ок скачивается напрямую

Answer 1

[Владимир Куц]

Не поверите - но все это можно сделать тем же requests.get, только нужно указать правильные заголовки, и если надо - сессионные куки.
Если нужно чтоб отработали скрипты на стороне броузера - то берите Selenium - и вперед...

Comments

[Ася]

ну проблема в том что не понятно какие заголовки "правильные" где их взять?

хотелось бы обойтись чем-то попроще селениума потому что через него все медленнее работает, но если вариантов больше нет то буду его использовать да

[Владимир Куц]

ну проблема в том что не понятно какие заголовки "правильные" где их взять?

Открываете сайт броузером.
Открываете инструменты разработчика.
Смотрите какие заголовки броузер передает при запросе.
Подставляете такие же.

[Ася]

Владимир Куц, я это и делала
эти хэдеры дают 403 в результате

[Владимир Куц]

Ася, ну значит еще что-то не передаете....
Без конкретики вам никто ничего не подскажет.
Пробуйте Селениум тогда.

[Ася]

Владимир Куц, там походу просто что-то аналогичное капче и из-за этого обычные реквесты выдают ошибку

Answer 2

[Yupiter7575]

Самый простой способ:

import requests
r = requests.get(url) #url - ссылка
html = r.text
f = open('test.html', 'w')
f.write(html)
f.close()

Если вы еще хотите работать с этими кодами дальше советую библиотеку bs4

Comments

[Ася]

как я уже писала через просто requests.get(url) не вся нужная информация сохраняется
мне нужно чтобы вся страница целиком скачивалась

[Yupiter7575]

Ася, что не сохраняется?

[Ася]

yupiter7575, из-за того что выскакивает Response [403] скачивается не тот контент что нужен (не тот что при открытии сайта через браузер и нажатии view page source)

[Yupiter7575]

Ася, бывают такие случаи. Просто заголовки укажите

[Ася]

yupiter7575, они указаны, подставляла разные - не помогает