Почему не запускается selenium (python) на сервере?

Question

[albertalexandrov]

Здравствуйте!

Пытаюсь завести скрипт (cgi-bin) python на сервере (макхост, виртуальный хостинг). Код скрипта:

#!/usr/bin/python3.5

import os
import sys
import codecs

sys.stdout = codecs.getwriter('cp1251')(sys.stdout.detach())
sys.path.append('/home/httpd/vhosts/my_domain.ru/private/lib/python3.5/site-packages')

from selenium import webdriver

print('Content-type: text/html\r\n\r\n')

os.environ['MOZ_HEADLESS'] = '1'

driver = webdriver.Firefox(executable_path='/home/httpd/vhosts/my_domain.ru/private/geckodriver.exe')
driver.get('https://vk.com')

Однако, не работает. Traceback:

Traceback (most recent call last):
   File "telephone.py", line 17, in <module>
     driver = webdriver.Firefox(executable_path='/home/httpd/vhosts/my_domain.ru/private/geckodriver.exe')
   File "/home/httpd/vhosts/my_domain.ru/private/lib/python3.5/site-packages/selenium/webdriver/firefox/webdriver.py", line 148, in __init__
     self.service.start()
   File "/home/httpd/vhosts/my_domain.ru/private/lib/python3.5/site-packages/selenium/webdriver/common/service.py", line 98, in start
     self.assert_process_still_running()
   File "/home/httpd/vhosts/my_domain.ru/private/lib/python3.5/site-packages/selenium/webdriver/common/service.py", line 111, in assert_process_still_running
     % (self.path, return_code)
 selenium.common.exceptions.WebDriverException: Message: Service /home/httpd/vhosts/my_domain.ru/private/geckodriver.exe unexpectedly exited. Status code was: -4

Не могу понять, почему так. Предполагаю, что просто не установлен firefox.

Answer 1

[Roman K]

Не могу понять, ты пытаешься exeшник запустить на линуксе?

P.S. Для сервера без монитора нужно эмулировать монитор (xvfb)

Comments

[albertalexandrov]

Эм... получается, что да. xvfb так и не захотел заработать. Ни у меня на машине, ни на виртуальном хостинге. Не может создать экземпляр класса Xvfb (либо что-то с проверкой наличия этого экземпляра). Пробовал разные версии - каждый раз что-то да отпадает.

Answer 2

[Артем Советников]

Чтобы на Linux поставить geckodriver сделайте:
pip install geckodriver

И вы перепутали назначение executable_path, это на самом деле путь к выполняемому файлу браузера, а geckodriver.exe это только драйвер для Selenium, и это видимо версия для Windows.

Возьмите готовый Firefox с Selenium https://github.com/SeleniumHQ/docker-selenium
Если что подскажу как его кушать

Comments

[albertalexandrov]

Был бы признателен

[Артем Советников]

Запускаете:
docker run -d -p 4444:4444 -p 5900:5900 -v /dev/shm:/dev/shm selenium/standalone-firefox-debug
На порту 4444 - Selenium, на 5900 - VNC

Потом используете webdriver.Remote (тут несколько дополнительных обвязок, но они не обязательны):

SELENIUM_REMOTE = 'http://<ip-адрес-контейнера-docker>:4444/'
@contextmanager
def selenium_driver():
        try:
            LOCAL_DRIVER = settings.LOCAL_DRIVER
        except AttributeError:
            LOCAL_DRIVER = False

        if not LOCAL_DRIVER:
            wait_selenium_connection()

        from selenium import webdriver

        options = webdriver.ChromeOptions()
        options.add_argument('start-maximized')
        capabilities = options.to_capabilities()

        if LOCAL_DRIVER:
            driver = webdriver.Chrome(chrome_options=options)
        else:
            selenium_url = '{0}/wd/hub/'.format(settings.SELENIUM_REMOTE.strip('/'))
            n = 0
            while True:
                try:
                    driver = webdriver.Remote(
                        command_executor=selenium_url,
                        desired_capabilities=capabilities
                    )
                    break
                except (ConnectionResetError, ConnectionRefusedError) as e:
                    if n >= 3:
                        reraise(e)
                sleep(1)

        driver.set_page_load_timeout(60 * 3)

        def usr1(*args, **kwargs):
            driver.quit()

        with handle_signal(USR1=usr1):
            try:
                yield driver
            finally:
                try:
                    driver.quit()
                except:
                    pass

def wait_selenium_connection():
    if not settings.SELENIUM_REMOTE:
        raise Exception('Нет SELENIUM_REMOTE')
    p = urlparse(settings.SELENIUM_REMOTE)
    host, port = p.netloc.split(':')
    port = int(port)
    n = 0
    while True:
        if test_port_open(host, port):
            return
        if n >= 10:
            raise Exception('Таймаут ожидания соединения с selenium')
        sleep(1)
        n += 1

with selenium_driver() as driver:
    driver.get(url)

[albertalexandrov]

Артем Советников, это на виртуальном хостинге через SSH?

[Артем Советников]

Да, вот только нужна KVM виртуализация, OpenVZ не пойдёт для docker ... тут я мог мозги запудрить.
Иначе ставьте Firefox по полной из пакетов и действительно Headless включайте ... сами прикиньте, что дешевле ставить Firefox или KVM поискать если хостинг без него.

[albertalexandrov]

Артем Советников, спасибо. Пойду подтягивать docker.