Почему не работает PhantomJS с Selenium?

Question

[Bjornie]

Разработанный парсер (Python + Selenium) работает как требуется с драйвером Chrome. Задача запускать программу в фоне (без окон), поэтому был выбрал PhantomJs. Но по непонятной причине фантом не хочет работать с моим парсером, открывает первую страницу и не может найти нужных мне элементов.

Ничего сверхестественного в парсере нет: заполнить поля, покликать по формам и т.д. Работаю напрямую с input/select/option.

Никаких настроек не передаю (хотя читал что нужно настраивать SSL, пробовал, но это не помогало).

Что может быть не так? Кто работал с PhantomJs и Selenium - поделитесь пожалуйста вашим опытом.

Answer 1

[gill-sama]

Есть решение, которые позволит Вам не меняя драйвер запустить все в фоновом режиме.

Comments

[Bjornie]

gill-sama не понял как это дело работает с selenium.

[gill-sama]

Bjornie: Создает виртуальный дисплей и в нем проходит обработка браузера.

[Bjornie]

gill-sama: т.е. это обертка для моей программы, которая запускает браузер. Делает то же самое, но фоном?

[gill-sama]

Bjornie: по-сути - да. Она создает виртуальный дисплей на овнове X* технологии и запускает Ваш скрипт внутри этого дисплея. Единственное ограничение - поддержка семейства windows врятли существует.

[Bjornie]

gill-sama: у нас у всех винда :)

Answer 2

[Дмитрий Еремин]

вот бы код увидеть. Можно еще и сайт в придачу, чтоб посмотреть, как вживую это все

Comments

[Bjornie]

Дмитрий Еремин можно в личку?

[Bjornie]

Пример строчк, самая первая на которой спотыкается. Ничего странного не написано. С хромом работает нормально от начала и до конца.

self.driver.find_element_by_xpath('//*[@id="targa2"]').clear()

raise exception_class(message, screen, stacktrace)
selenium.common.exceptions.NoSuchElementException: Message: {"errorMessage":"Unable to find element with xpath '//*[@id=\"tar\"]'","request":{"headers":{"Accept":"application/json","Accept-Encoding":"identity","Connection":"close","Content-Length":"103","Content-Type":"application/json;charset=UTF-8","Host":"127.0.0.1:54267","User-Agent":"Python http auth"},"httpVersion":"1.1","method":"POST","post":"{\"using\": \"xpath\", \"value\": \"//*[@id=\\\"tar\\\"]\", \"sessionId\": \"6ba35430-55bf-11e7-a9dc-3fc5f16327cf\"}","url":"/element","urlParsed":{"anchor":"","query":"","file":"element","directory":"/","path":"/element","relative":"/element","port":"","host":"","password":"","user":"","userInfo":"","authority":"","protocol":"","source":"/element","queryKey":{},"chunks":["element"]},"urlOriginal":"/session/6ba35430-55bf-11e7-a9dc-3fc5f16327cf/element"}}

[Дмитрий Еремин]

Давайте экспериментировать: вот так что выдает?
self.driver.find_element_by_id('targa2')

а если в браузере консольку открыть и написать
$$('#targa2').length
какое число покажет?

[Bjornie]

Дмитрий Еремин: сделал уже эксперимент, с селектором вроде разобрался. Проблема (и не только у меня) что нужно обязательно установить ширину экрана, тогда авторизация проходит.

Сейчас проблема в другом: клик по кнопке далее не работает, соответственно дальше парсер не идет, потому-что страница не изменилась. Все элементы на месте (в другими драйверами повторяю все ОК). Что это может быть? Уже погуглил, нашел варианты кликать с помощью javascript. - не работает.

Делал слипы, ожидания, кликак по 10 раз. - страница не меняется!!!1

[Bjornie]

Дмитрий Еремин: и похоже я не одинок: https://superuser.com/questions/855710/selenium-wi... идентичная проблема

[Дмитрий Еремин]

Bjornie: как насчет явных ожиданий? Т.е. сначала дожидаться появления кнопки в DOM?

[Bjornie]

Дмитрий Еремин: пробую
submit = self.wait.until(EC.element_to_be_clickable((By.ID, 'btn_submit')))
submit.click()

Пробовал также visible, presented и т.д. Клик как будет не работает. Ошибок не выдает :( :(

Answer 3

[Алексей Сундуков]

Оберните XPath в wait().