Как в вебдрайвере Selenium добавить блокировщик рекламы AdBlock?

Question

[Lim_Drake]

Здравствуйте, при парсинге у меня стояла задача - собрать номера телефонов клиентов. Делаю я это, используя Selenium chromedriver, так как необходимо нажать на кнопку, чтобы появился телефон. С этой задачей я справился, парсер работает, но у меня появилась проблема, что из-за всплывающей рекламы на сайте Selenium иногда не может кликнуть по кнопке.
Я узнал, что есть возможность интегрировать AdBlock в Selenium. Я пробовал искать документацию, но ничего не нашел.
Хотел бы получить ссылки на ресурсы, где я смогу ознакомиться с данной функцией Selenium'а подробнее.
Так как я все же встречал подобные вопросы в сети, и там были некоторые решения: вот тут!
У меня появился также вопрос, где я могу достать сами файлы AdBlock'а, чтобы использовать их как в примере?
Возможно использовать файлы расширения от Google Chrome, которые я нашел в файлах браузера, то есть я укажу путь к этим файлам, будет ли это работать?

Comments

[ScriptKiddo]

Как добавить расширение selenium?

Answer 1

[Сергей Карбивничий]

Можно не придумывать велосипеды, а использовать постоянный профиль.
Оба варианта рабочие 100 пистонов!
Проверял лично на Linux Mint 19.3 и Windows 10 20H2.
Если при запуске профиля не существует, chrome сам его создает. При закрытии профиль сохраняется и при следующем запуске подхватывает его со всеми настройками и расширениями.

Код (для Linux):

from selenium import webdriver
from selenium.webdriver.chrome.options import Options

options = Options()
options.add_argument("user-data-dir=/home/sergey/SeleniumProfile")
driver = webdriver.Chrome(chrome_options=options)
driver.get("https://google.com")

Запускаете его, он создает профиль. Далее в браузере идете в магазин с расширениями и устанавливаете себе любые расширения. Все! При следующем запуске кода selenium будет использовать данный профиль вместе с расширениями.

Вот код для Windows:

from selenium import webdriver
from selenium.webdriver.chrome.options import Options

options = Options()
options.add_argument("user-data-dir=C:\\profile")
driver = webdriver.Chrome(chrome_options=options)
driver.get("https://google.com")

Comments

[Lim_Drake]

Отлично, не знал, что так можно
Можете уточнить, данный путь "user-data-dir=/home/sergey/SeleniumProfile" это путь к папке в которой сохраняется профиль?
Я не совсем понял этот момент

[Сергей Карбивничий]

Lim_Drake, Да, можите любой указать. Если у вас Windows, то путь по другому пишется.

[Lim_Drake]

options = Options()
        options.add_argument("/Users/Student/SeleniumProfile")
        self.driver = webdriver.Chrome(options=options)      
        self.driver.get("https://google.com")

Можете проверить?
если я использую chrome_options, как у вас, при запуске пишет вот это

use options instead of chrome_options
self.driver = webdriver.Chrome(chrome_options=options)

поэтому я заменил
код запускается без такого предупреждения, но профиль все равно не сохраняется, не знаете в чем проблема?

[Сергей Карбивничий]

Lim_Drake, Попробуйте заменить

options.add_argument("/Users/Student/SeleniumProfile")

на:

options.add_argument("user-data-dir=/Users/Student/SeleniumProfile")

У вас Mac?

[Сергей Карбивничий]

Lim_Drake, Пропустили параметр user-data-dir=

[Lim_Drake]

Сергей Карбивничий, windows, я пробовал копировать путь из проводника

self.options.add_argument("C:\Users\Student\SeleniumProfile")
^
SyntaxError: (unicode error) 'unicodeescape' codec can't decode bytes in position 2-3: truncated \UXXXXXXXX escape

ошибка в кодировке возникает

[Сергей Карбивничий]

Сравните:
self.options.add_argument("C:\Users\Student\SeleniumProfile")
и
self.options.add_argument("user-data-dir=C:\Users\Student\SeleniumProfile")

[Сергей Карбивничий]

Конкретно обратите внимание на user-data-dir=

[Lim_Drake]

Сергей Карбивничий, в общем, я немного порылся, создал профиль через сам Google Chrome
нашел к нему путь и вот что получилось

self.options = Options()
        self.options.add_argument("user-data-dir=C:\\Users\\Владислав\\AppData\\Local\\Google\\Chrome\\User Data\\Profile 1")
        self.driver = webdriver.Chrome(executable_path=r'C:\Users\Владислав\.spyder-py3\chromedriver.exe',options=self.options)      
        self.driver.get("https://google.com")
        return

Но все равно при запуске мой готовый профиль с адблоком не запускается

[Сергей Карбивничий]

Lim_Drake, Щас, перезагружусь в Windows, попробую

[Lim_Drake]

Сергей Карбивничий, а нет, все работает, я добавил расширение после запуска, и оно сохранилось, спасибо вам большое за ответ!