--headless в undetected_chromedriver?

Question

[Maxwell012]

Без мода --headless все работает, как только я его вкл, сайт сразу распознает что это робот. Кто знает как избежать этого?

Comments

[сергей кузьмин]

Maxwell012 заголовки передать

например

options.add_argument('--user-agent="Mozilla/5.0 (Macintosh; Intel Mac OS X 10.15; rv:72.0) Gecko/20100101 Firefox/72.0"')

ссылка

https://stackoverflow.com/questions/74793705/how-t...
использует новые команды через веб сокет
CDP чтоб переопределить user agent headeer

[Maxwell012]

сергей кузьмин, через options агент не меняется в undetected_chromedriver, статью которую вы кинули я видел, но там предлагается альтернатива undetected_chromedriver`а как я понимаю

[сергей кузьмин]

там цдп используется

https://chromedevtools.github.io/devtools-protocol...

вот рабочий на ява

package example;

/**
 * Copyright 2021 Serguei Kouzmine
 */
import static org.hamcrest.CoreMatchers.containsString;
import static org.hamcrest.CoreMatchers.is;
import static org.hamcrest.MatcherAssert.assertThat;

import java.io.IOException;

import org.junit.Ignore;
import org.junit.Test;

import org.openqa.selenium.By;
import org.openqa.selenium.WebElement;

// TODO: get rid of
import com.neovisionaries.ws.client.WebSocketException;

import example.messaging.MessageBuilder;

public class UserAgentOverrideTest extends BaseTest {

	private static final By locator = By.xpath(
			"//*[@id=\"content-base\"]//table//th[contains(text(),\"USER-AGENT\")]/../td");

	private static String baseURL = "https://www.whatismybrowser.com/detect/what-http-headers-is-my-browser-sending";

	private static WebElement element = null;

	@Ignore
	@Test
	public void setUserAgentOverrideTest() {
		// Arrange
		driver.get(baseURL);
		element = driver.findElement(locator);
		// TODO:
		// utils.highlight(element);
		utils.sleep(100);
		assertThat(element.getAttribute("innerText"), containsString("Mozilla"));
		// Act
		try {
			CDPClient.sendMessage(MessageBuilder
					.buildSetUserAgentOverrideMessage("my agent", "windows"));
		} catch (IOException | WebSocketException e) {
			// ignore
			System.err.println("Exception (ignored): " + e.toString());
		}
		driver.navigate().refresh();
		utils.sleep(1);

		element = driver.findElement(locator);
		assertThat(element.isDisplayed(), is(true));
		assertThat(element.getAttribute("innerText"), is("my agent"));
	}
}

на питоне напишу сейчас

типа

#!/usr/bin/env python
# -*- coding: utf-8 -*-

# based on: https://stackoverflow.com/questions/74793705/how-to-load-chrome-options-using-undetected-chrome
# uses CDP to override the user agent header

# origin: https://habr.com/ru/post/459112/

# see also:

import time,os,sys
from selenium import webdriver
from selenium.webdriver.chrome.options import Options
import json, base64

def send_command_return_result(driver, cmd, params = {}, resultkey = 'windowId'):
  post_url = driver.command_executor._url + '/session/{0:s}/chromium/send_command_and_get_result'.format( driver.session_id)
  response = driver.command_executor._request('POST', post_url, json.dumps({'cmd': cmd, 'params': params}))
  print('response: {}'.format(response))
  if ('status' in response ) and response['status']:
    raise Exception(response.get('value'))
  return response.get('value').get(resultkey)
   
def send_command(driver, cmd, params = {}):
  post_url = driver.command_executor._url + '/session/{0:s}/chromium/send_command_and_get_result'.format( driver.session_id)
  response = driver.command_executor._request('POST', post_url, json.dumps({'cmd': cmd, 'params': params}))
  if ('status' in response ) and response['status']:
    raise Exception(response.get('value'))
   

global debug
debug = False
if __name__ == '__main__':

  webdriver_options = Options()
  # to see the page
  # webdriver_options.add_argument('--headless')
  webdriver_options.add_argument('--disable-gpu')
  if os.getenv('OS') != None :
    homedir = os.getenv('USERPROFILE').replace('\\', '/')
    is_windows = True
  else:
    homedir = os.getenv('HOME')
    is_windows = False
  chromedriver_path = homedir + os.sep + 'Downloads' + os.sep + ('chromedriver.exe' if is_windows else 'chromedriver') 
  driver = webdriver.Chrome(chromedriver_path, options = webdriver_options)
  # https://chromedevtools.github.io/devtools-protocol/tot/Network/#method-setUserAgentOverride
  send_command(driver,
    'Network.setUserAgentOverride', {
      'userAgent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10.15; rv:72.0) Gecko/20100101 Firefox/72.0',
    }
  
  )
  url = 'https://www.whatismybrowser.com/detect/what-http-headers-is-my-browser-sending'
  driver.get(url)
  time.sleep(10)

  driver.quit()


# PATH=%PATH%;c:\Python381;%USERPROFILE%\Downloads

если помогло - я положу в ответы вы отметите решением

[Maxwell012]

сергей кузьмин, вы прекрасны, наконец-то я запустил браузер в --headless, великое спасибо. Выкладывайте как в ответы я отмечу решением

[Maxwell012]

сергей кузьмин, Один мой скрипт работает, второй все равно не проходит проверка в режиме --headless. Можете что-то еще посоветовать?

[сергей кузьмин]

недостаточно информации чтобы советать что -то

[Maxwell012]

сергей кузьмин,
Вот такое я получаю в безголовом режиме с прописанным агентом. Cloudflare не могу пройти

[сергей кузьмин]

вам стоит предметно поискать
например обсуждение

https://stackoverflow.com/questions/68289474/selen...

у меня между прочим даже был опыт безуспешного прохода на страницу на cloudware интеркативно на вивальди убунту отражала а на хромиуме дала
но это в качестве анекдота

Answer 1

[сергей кузьмин]

пример используюший новые API чтобы задать User Agent через контекст Network
https://chromedevtools.github.io/devtools-protocol...
:

#!/usr/bin/env python
# -*- coding: utf-8 -*-

# based on: https://stackoverflow.com/questions/74793705/how-to-load-chrome-options-using-undetected-chrome
# uses CDP to override the user agent header

import time,os,sys
from selenium import webdriver
from selenium.webdriver.chrome.options import Options
import json, base64

def send_command_return_result(driver, cmd, params = {}, resultkey = 'windowId'):
  post_url = driver.command_executor._url + '/session/{0:s}/chromium/send_command_and_get_result'.format( driver.session_id)
  response = driver.command_executor._request('POST', post_url, json.dumps({'cmd': cmd, 'params': params}))
  print('response: {}'.format(response))
  if ('status' in response ) and response['status']:
    raise Exception(response.get('value'))
  return response.get('value').get(resultkey)
   
def send_command(driver, cmd, params = {}):
  post_url = driver.command_executor._url + '/session/{0:s}/chromium/send_command_and_get_result'.format( driver.session_id)
  response = driver.command_executor._request('POST', post_url, json.dumps({'cmd': cmd, 'params': params}))
  if ('status' in response ) and response['status']:
    raise Exception(response.get('value'))
   

global debug
debug = False
if __name__ == '__main__':

  webdriver_options = Options()
  # comment to see the browser window
  webdriver_options.add_argument('--headless')
  webdriver_options.add_argument('--disable-gpu')
  # for annotated list of chrome headless flags, see
  # https://peter.sh/experiments/chromium-command-line-switches/
  # https://groups.google.com/forum/#!topic/selenium-users/SnxpvG8Erj4
  if os.getenv('OS') != None :
    homedir = os.getenv('USERPROFILE').replace('\\', '/')
    is_windows = True
  else:
    homedir = os.getenv('HOME')
    is_windows = False
  chromedriver_path = homedir + os.sep + 'Downloads' + os.sep + ('chromedriver.exe' if is_windows else 'chromedriver') 
  driver = webdriver.Chrome(chromedriver_path, options = webdriver_options)
  # https://chromedevtools.github.io/devtools-protocol/tot/Network/#method-setUserAgentOverride
  send_command(driver,
    'Network.setUserAgentOverride', {
      'userAgent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10.15; rv:72.0) Gecko/20100101 Firefox/72.0',
    }
  
  )
  url = 'https://www.whatismybrowser.com/detect/what-http-headers-is-my-browser-sending'
  driver.get(url)
  time.sleep(5)
  xpath = '//*[@id="content-base"]//table//th[contains(text(),"USER-AGENT")]/../td'
  element = driver.find_element_by_xpath(xpath)
  print( element.get_attribute('innerHTML'))

  driver.quit()


# PATH=%PATH%;c:\Python381;%USERPROFILE%\Downloads