Как запустить огромное количество браузеров хром с разными айпи и профилями?

Question

[Invoker322]

Вопрос собственно в заголовке. Не знаю через это можно реализовать, нужно чтобы это все было в консольном варианте и каждый браузер свой уникальный опечаток, айпи и подобное и чтобы это было максимально легковесно. Может можно это как то провернуть через selenium, но через него не сделать то что я хочу. Смотрел еще в сторону докера, но тоже много ресурсов надо, как и для просто запуска множества виртуальных машин. Подскажите в строну чего смотреть.

Comments

[Максим Федоров]

selenoid?

[Reario]

Тут, скорее, что-то вроде Linken Sphere нужно. Сам этот браузер не совсем то, что необходимо, но вот принципы реализации, возможно, пригодятся...

[devalone]

на селениуме как раз норм реализуется. С отпечатком браузера гугли расширения для его смены.

[Invoker322]

devalone, Так он вроде как запускает один и тот же установленный браузер, мне изначально нужен с другим опечатком, полностью уникальным.

[devalone]

Invoker322, отпечаток зависит от железа и их много, как минимум canvas(самый популярный) легко подменяется расширениями(например canvas defender), ставишь расширение в профиль:

chrome_options = webdriver.ChromeOptions()

    chrome_options.add_argument('--proxy-server={}'.format(proxy))
    chrome_options.add_argument("user-agent={}".format(user_agent))
    chrome_options.add_argument("load-extension={}".format(CANVAS_DEFENDER_PATH))
    # disable images
    prefs = {"profile.managed_default_content_settings.images": 2}
    chrome_options.add_experimental_option("prefs", prefs)

    if HEADLESS:
        chrome_options.add_argument("--headless")

    capabilities = {
        "pageLoadStrategy": "none"
    }

    driver = webdriver.Chrome("/usr/lib/chromium-browser/chromedriver",
                              chrome_options=chrome_options, desired_capabilities=capabilities)

и оно при каждом запуске ставит новый отпечаток. Кстати, докер тебе вряд ли поможет, он не рандомизирует твоё железо. Виртуалка поможет, но это дорого по ресурсам. Ещё вариант, использовать tor browser с тем же селениумом, там уже стоят все эти расширения и настройки для защиты от отслеживания.

[devalone]

а ещё, мб достаточно написать бота на обычных http запросах

[Invoker322]

devalone, Извините за подобные вопросы, в документации не смог найти точный ответ. Селениум же запускает браузер по одному пути, можно ли его запускать до бесконечности пока есть ресурсы. И каждый раз с новым прокси и нужными расширениями? То есть для того же ютуба это будет совершенно новый пользователь?

[Invoker322]

Софт, который я проверял, ставит полностью кастомные параметры под браузер, что даже установки для расширений в хром стор засчитывает и с минимальными затратами.

[devalone]

Invoker322,

> Селениум же запускает браузер по одному пути, можно ли его запускать до бесконечности пока есть ресурсы. И каждый раз с новым прокси и нужными расширениями?

да, я скинул пример кода, подставь в переменные рандомные значения и всё будет работать, для теста ставишь HEADLESS в False, в проде - в True.

> То есть для того же ютуба это будет совершенно новый пользователь?

Не могу гарантировать, как я сказал, методов сделать отпечаток много и не факт, что ютуб проверяет только canvas

Answer 1

[Александр]

Тебе скорее не Хром ... а шпионские программы )))
Смотреть в сторону http протокола и писать программу взаимодействия с сайтом.
Например, HTTP-заголовки - foxtools.ru/Http
Заметь IP адрес подменить не так просто
Самое простое User-Agent подменять
Но это не все - сайт и вебсервер может проверять другие данные: VPN, Proxy, JS, хранилище ... короче использовать методы против анонимных пользователей.

PS
Когда то видел программы тестирования сайта под нагрузку - может тут что найдешь.

Answer 2

[Александр]

Как писали выше нужен chrome в режиме headless. Чтобы были разные отпечатки нужны разные user-agent значения и разные размеры окон. А для разных ip можно использовать tor.
Вот пример кода с этим всем. Автор использует puppeteer.