Прокликать все ссылки на странице?

Question

[Павел Рябов]

Есть такой код:

def setUp(self):
        self.driver = webdriver.Chrome()
        self.driver.get('https://yandex.ru')

    def test_01(self):
        # def links_parse(self):
            driver = self.driver
            driver.fullscreen_window()
            links = []
            links = driver.find_elements_by_xpath("//*[contains(@href, 'http')]")

        # def clicking(self, links):
            for link in links:
                link.click()
                driver.get('https://yandex.ru')
                time.sleep(4)    

    def tearDown(self):
        self.driver.quit()

Он должен заполнить массив links ссылками, а потом прокликать их в цикле, возвращаясь на главную страницу.
Первая ссылка нажимается, он возвращается на главную страницу, но при нажатии на следующую, вылетает. А в консоли "element not interactable". При этом если пикать ссылки вручную из массива, то какие-то будут нажиматься, а какие-то точно так же "not interactable". Подскажите, пожалуйста, если у меня в массиве только ссылки, как они могут быть "not interactable" и как решить эту проблему?

Answer 1

[Dimonchik]

как они могут быть "not interactable"

в наше время может быть все что угодно

ты же кликаешь как правильный пацан -возвращаешься, прогружаешь, находишь, кликаешь?

или как застековерфловивший код нуб?

Comments

[Павел Рябов]

Да, я это уже понял. Запихнул в цикл перезапись массива. Все работает, но это очень тупое решение. Он каждый раз ищет все ссылки, но использует за итерацию только одну.

[Dimonchik]

таймаут перед прогрузкой делаешь?

ссылки через объъекты или тупо browser get ?

[Павел Рябов]

dimonchik2013, да, ставлю 3 секунды, этого хватает. Через click(), там в примере моего кода написано. У меня все заработало, но в цикле каждый раз парсить ссылки со страницы это неэффективно.

Answer 2

[Val1n0r]

Так можно же

for link in links:
                link.click()
                driver.back()
                time.sleep(4)

Если просто нужно открыть ссылку и вернуться на yandex.ru (driver.back())
А так,как мне кажется нужно проверить правильно ли селениум парсит ссылки
и в цикле прокликать их по индексам(попутно смотря на результат в браузере)
до кучи можно ждать полной загрузки страницы, если есть такая нужда

from selenium.webdriver.support.ui import WebDriverWait 

WebDriverWait(driver, 100).until(
                    EC.element_to_be_clickable((By.XPATH, "//input[contains(@value,'Назад')]")))

Comments

[Павел Рябов]

Ссылки-то он правильно парсит. Проблема в том, что когда она возвращается обратно на главную, ссылки изменяют свое название (не html код, естественно, а какие-то атрибуты веб-элемента) и в итоге то, что находится в массиве links уже не валидно и нужно заново парсить все ссылки. Я запихнул просто links=find_elements... в цикл. Все работает как надо, но это неэффективно, так как одна итерация = 1 парсингу целой страницы ссылок.

[ScriptKiddo]

Павел Рябов, Так вы замеряйте, чтобы доказать неэффективность. По сравнению с загрузкой страницы - получение ссылок по XPath запросу - сущий мизер

Способов несколько: либо открывать URL в отдельном экземпляре вебдрайвера, либо открывать ссылку в новой вкладке, а потом закрывать ее.

Последнее можно сделать с помощью ActionChains