Какую графическую оболочку ставить для парсинга?

Question

[Sazanovdm]

Пишу парсер, в headlessрежиме сайт детектит меня, решений этому я не нашел.

А без данного режима насколько я понимаю мне нужно установить Графическую оболочку.

Вопрос: Какую оболочку лучше ставить чтобы жрало меньше ресурсов? Или возможно есть варианты не ставить оболочку? подскажите

Answer 1

[ScriptKiddo]

Достаточно будет сделать виртуальный дисплей

https://pypi.org/project/PyVirtualDisplay/

Для него требуется xvfb

https://stackoverflow.com/a/41460456

from pyvirtualdisplay import Display
from selenium import webdriver

display = Display(visible=0, size=(800, 600))
display.start()

# now Chrome will run in a virtual display. 
# you will not see the browser.
browser = webdriver.Chrome()
browser.get('http://www.google.com')
print browser.title
browser.quit()

display.stop()

Comments

[Sazanovdm]

ScriptKiddo Отлично! Это то что я пытался найти, но мне нужно для PHP, может сможете подсказать ссылки для PHP, или для php нету такого?

[ScriptKiddo]

Sazanovdm, возможно как-то так

https://stackoverflow.com/a/46475980