Как запустить selenium в фоне на сервере?

Question

[vo0ov programmer]

У меня есть код использующий библиотеку selenium.py. Мне нужно поставить эту программу на сервер (он без GUI и работает в контейнере панели Pterodactyl). У меня есть на нём только python. Root прав нет, и самого браузера Google Chrome - тоже. Как я понимаю мне нужно найти Chomium веб -драйвер который работает без GUI на Linux сервере. Искал информацию в интернете - но ничего работающего не нашёл. Пожалуйста помогите

Comments

[Аркадий Гальченко]

Есть вебдрайвер, гуглится с первого раза. Но браузер нужен всеравно. Вебдрайвер должен соответствовать версии браузера. Можно включить режим без GUI.

[vo0ov programmer]

Аркадий Гальченко, а где скачать сам браузер без GUI?

[Аркадий Гальченко]

vo0ov programmer, не скачать браузер без GUI, а через Selenium передать параметр в браузер для работы в фоновом режиме (без отображения)

[vo0ov programmer]

Аркадий Гальченко, самого браузера на сервере нет. Веб драйвер под Linux я скачал, но веб драйвер без браузера в одиночку не работает.

[Аркадий Гальченко]

vo0ov programmer, Я это писал в первом сообщении

[vo0ov programmer]

Аркадий Гальченко, на сервере этот код не работает:

import os
from selenium import webdriver
import undetected_chromedriver as uc

options = webdriver.ChromeOptions()
options.add_argument('--headless')

print(os.listdir(path='.')) # ['chrome-linux64', 'requirements.txt', 'main.py', 'chrome-linux64.zip', 'chromedriver.app', '.cache', '.local']

driver = uc.Chrome(browser_executable_path='./chrome-linux64/chrome', driver_executable_path='./chromedriver', options=options)
driver.get('https://google.com')

driver.quit()
print('OK')

Вот ошибка:
Traceback (most recent call last):
File "/home/container/main.py", line 10, in
driver = uc.Chrome(browser_executable_path='./chrome-linux64/chrome', driver_executable_path='./chromedriver', options=options)
File "/home/container/.local/lib/python3.10/site-packages/undetected_chromedriver/__init__.py", line 466, in __init__
super(Chrome, self).__init__(
File "/home/container/.local/lib/python3.10/site-packages/selenium/webdriver/chrome/webdriver.py", line 45, in __init__
super().__init__(
File "/home/container/.local/lib/python3.10/site-packages/selenium/webdriver/chromium/webdriver.py", line 50, in __init__
self.service.start()
File "/home/container/.local/lib/python3.10/site-packages/selenium/webdriver/common/service.py", line 102, in start
self.assert_process_still_running()
File "/home/container/.local/lib/python3.10/site-packages/selenium/webdriver/common/service.py", line 115, in assert_process_still_running
raise WebDriverException(f"Service {self._path} unexpectedly exited. Status code was: {return_code}")
selenium.common.exceptions.WebDriverException: Message: Service ./chromedriver unexpectedly exited. Status code was: 127

Скачивал этот веб драйвер:


И этот браузер:


Вот что находится в папках:
Корень:

chrome-linux64:

[vo0ov programmer]

vo0ov programmer, версии браузера и веб драйвера совпадают. Все библиотеки установлены.

[Аркадий Гальченко]

vo0ov programmer, проверь путь к драйверу, должен быть указан исполняемый файл, на винде это выглядело бы как "driver_path\webdriwer.exe". "Убедись, что у файла chromedriver есть права на выполнение. Если нет, установи их с помощью команды chmod +x chromedriver." - это уже ChatGPT советует
Вот как у меня было

chrome_options = Options()
chrome_options.add_argument(f"user-agent={headers['User-Agent']}")
chrome_options.add_argument("--headless")  # В ФОНОВОМ РЕЖИМЕ

chrome_service = Service('chromedriver-win64/chromedriver.exe')
driver = webdriver.Chrome(service=chrome_service, options=chrome_options)

До установки на Убунту сервак руки не дошли, поэтому хз как

[vo0ov programmer]

Аркадий Гальченко, Этот код возвращает истину (Т.е. файлы есть):

import os
print(os.path.exists("./chromedriver") and os.path.exists("./chrome-linux64/chrome")

У файлов chromedriver и chrome установлены права 777 соответственно они выполнимы. Можем пойти в тг - дам доступ к серверу. (@vo0ov_programmer)

Answer 1

[Даниил Гладыш]

На сколько мне известно, если даже установить браузер, найти нужный хромдрайвер, то всё равно может не работать. Потому что не будет физического монитора и браузер не сможет существовать в "нужном" разрешении.
Нужно настроить виртуальный монитор на сервере, возможно стоит почитать здесь:

spoiler

https://stackoverflow.com/questions/6183276/how-do...
https://gist.github.com/dhruvkar/dd29fbf535d19db69...

Answer 2

[Vladimir254]

Для того, что бы запустить вебдрайвер в фоновом режиме, нужно задать ему параметр ".add_argument("--headless")".

Но уточню, что я лично использую не хром, а мазилу и если смотреть нужную часть кода, то выглядит всё вот так:

from selenium import webdriver
from selenium.webdriver.firefox.options import Options

def driver(request):
options = Options()
options.add_argument("--headless")

Взял только ту часть кода которая тебе понадобится, но имей ввиду, что у меня всё работает по PO модели и если у тебя просто запуск из файла, то def тебе не интересен, а только "options"