Как нажать несколько кнопок одновременно на selenium python?

Question

[AmirDigiev]

При написании парсера avito столкнулся с проблемой большого числа кнопок на сайте. Могу нажать на одну, а на несколько не выходит. Есть ли такое в selenium вообще? Думал, попробовать через цикл, не получается:

driver = webdriver.Edge()
driver.get('https://www.avito.ru/moskva/nedvizhimost')

    soup = BeautifulSoup(html, 'lxml')
    button = soup.find_all('button', class_ = 'button button-origin button-origin_large button-origin_full-width recommendations-show-more js-recommendations-show-more')

    for button_click in button:
        button = driver.find_element_by_xpath('//button[@class="button button-origin button-origin_large button-origin_full-width recommendations-show-more js-recommendations-show-more"]').click()

HELP!

Comments

[sim3x]

А зачем тут BeautifulSoup?

Answer 1

[Nurbol Suleimenov]

Очевидно Вы ошиблись, одновременно нажать не получится, только последовательно.
Вот пример, как нажать последовательно:

from selenium import webdriver

driver = webdriver.Edge()
driver.get('https://www.avito.ru/moskva/nedvizhimost')
all_buttons = driver.find_elements_by_xpath('//button[@class="recommendations-show-more js-recommendations-show-more"]')
for button in all_buttons:
    button.click()

По моему, имя класса для выборки можно сократить, главное чтобы выбирал уникальные кнопки. Библиотеку BeautifulSoup не нужно использовать, т.к. Selenium имеет средства для парсинга. Можно ознакомится в документации.

FIXED: Была ошибка в строке поиска. Забыл закрыть ковычки и скобку ( "] )

Comments

[AmirDigiev]

Помогло, но не кликает пару оставшихся кнопок. К примеру, кликнул раз 5-6, хотя должен 8.

[Nurbol Suleimenov]

Проверил сайт, с которым Вы работаете. Проверьте такой варинат:

import time
from selenium import webdriver

driver = webdriver.Chrome()
driver.get('https://www.avito.ru/moskva/nedvizhimost')
time.sleep(3)
all_buttons = driver.find_elements_by_class_name('recommendations-show-more')
print('the buttons count is', len(all_buttons))  # Это для проверки кол-ва кнопок
for button in all_buttons:
    button.click()

[Chvalov]

Nurbol Suleimenov, Примерно такая же задача, нужно отправить несколько форм на сайте, но после отправки первой формы идет переход на страницу success, как быть в данном случае ?
Можно ли принудительно заставить открывать все в новых вкладках или постоянно чекать url и возвращаться обратно и не будет ли вечный цикл (если url имеет вид site.com а после открытия в браузере site.com/main ) ?

[Nurbol Suleimenov]

Chvalov,

Примерно такая же задача, нужно отправить несколько форм на сайте, но после отправки первой формы идет переход на страницу success, как быть в данном случае ?

Selenium по сути ручка для управления браузером, и можно проделать только те операции, что можно проделать на браузере.
На вашем месте я бы подумал вот о чем:

• Нужен ли в действительности Selenium для этой задачи? Я Selenium использую когда 1) работаю с сайтами сделанными как SPA, 2) создатели сайта замудрили и использовали JS там где не надо или 3) для таких странных целей как создание снимков экрана сайта или печать на принтер. Первым делом я рассматриваю для использование отличную библиотеку requests, и если с ним не получится работать, то приходится использовать Selenium. Приходится, т.к. это не легковесный вариант (запущенный браузер, драйвер управления, загрузка в браузере всех ресурсов(html, css, js, jpg, ...), ...)
  
• Критично ли время? Может, и в правду, просто последовательно отправлять форму и после перехода возвращатся обратно. Ведь это и так многократно превышает по производительности чем делать то же в ручную.
  

Можно ли принудительно заставить открывать все в новых вкладках или постоянно чекать url и возвращаться обратно и не будет ли вечный цикл (если url имеет вид site.com а после открытия в браузере site.com/main ) ?

Можно открыть N вкладок, но активной может быть только одна вкладка, и выигрыша особого и не будет, ведь заполнение и отправку не получится выполнить параллельно. Выигрыш только в том, что можно N форм загрузить одновременно.

Про вечный цикл совсем не понятно. Вы про то, что сайт может "запомнить" об отправке и будет перенаправлять на другую страницу при попытке повторного заполнения формы? Имея дело с Selenium можно сначала отработать алгоритм "в живую" в браузере, и проверить все моменты

Answer 2

[Nickname111]

for button_click in button:
    button_click.click()