Что делать если страница долго грузит selenium python?

Question

[Акшин Ёлчуев]

Используя библиотеку Selenium мне приходится много раз заходить на один и тот же сайт и ждать подгрузку страници по 5 секунд. Как возможно сохранить эту страницу что бы она долга не подгружалась?

Answer 1

[Сергей Гребенников]

Можно сделать что-то типа такого:

from selenium import webdriver
driver = webdriver.Chrome('D:\\chromedriver.exe')

# грузим страницу с сайта
driver.get('https://test.com')
 
# сохраняем страницу в файл
with open('D:\\Temp\\SaveHtm.html', 'bw') as out_file: 
    out_file.write(driver.page_source.encode('utf-8', errors = 'strict'))
    out_file.close()
# грузим страницу из файла
driver.get('file:///D:/Temp/SaveHtm.html')

Обратите на режим открытия файла 'bw', метод encode(...) возвращает последовательность байтов, которая и записывается в файл. encode нужен для того, чтобы русские буквы нормально отображались, а не набор кракозябр. Кодировка utf-8 указана как пример. Определяется из кодировки страницы с сайта.

Comments

[Акшин Ёлчуев]

я пробовал этот метод но проблема в том что страница загружается но вот при клике куда нибудь она переходит в настаящий сайт и типо без полезно

[Сергей Гребенников]

Акшин Ёлчуев, тогда уж что-то вроде WebCopierа нужно, если нет желания осуществлять поиск и замену ссылок в сохраняемом файле.

[Акшин Ёлчуев]

Сергей Гребенников, а через куки можно ускорить загрузку сайта?

[Сергей Гребенников]

Каким образом могут помочь cookie? Cookie используются веб-серверами для идентификации пользователей и хранения данных о них. Шириной канала веб-сервер не управляет, даже если и выделит пользователя и обработает его запрос побыстрее.