Как распределить прокси в многопоточности Selenium?

Question

[anya_hacker]

Пишу программу, которая в трёх потоках открывает сайт vk с помощью selenium.
Для многопоточности использую библиотеку multiprocessing.
При каждом потоке должен открываться вк с новым прокси, однако используется один прокси для всех.
В чем ошибка?
P.S.: Если брать прокси с random.choice и удалять его индекс из списка proxies, то прокси всё таки берутся разные.
Но почему в следующем коде прокси берутся одинаковые на все 3 потока?

# -*- coding: utf-8 -*-

from seleniumwire import webdriver
from fake_useragent import UserAgent

from time import sleep

from random import choice

from multiprocessing import Pool

proxies = [('R5edkrXE', 'rU1Ff396', '194.59.12.83:56451'),
           ('R5edkrXE', 'rU1Ff396', '45.147.245.164:61501'),
           ('R5edkrXE', 'rU1Ff396', '103.152.17.161:60476')]


# 3 прокси на 3 потока

def get_data(url):
    proxy_info = proxies[0]
    print(f"Используемый прокси: {proxy_info}")
    del proxies[0]  # удаляем использованный прокси
    print(f"Список оставшихся прокси: {proxies}")
    print()  # почему во все трёх потоках один и тот же прокси?

    login = proxy_info[0]  # авторизация прокси
    password = proxy_info[1]
    proxy_adress_now = proxy_info[2]

    proxy_options = {
        "proxy": {
            "https": f"https://{login}:{password}@{proxy_adress_now}"
        },
        "User-Agent": UserAgent().chrome
    }

    driver = webdriver.Chrome(
        executable_path='chromedriver.exe',
        seleniumwire_options=proxy_options
    )

    driver.maximize_window()
    driver.delete_all_cookies()

    driver.delete_all_cookies()
    driver.get(url)
    sleep(5)


if __name__ == '__main__':
    process_count = 3  # 3 браузера параллельно
    url = 'https://vk.com'
    urls_list = [url] * process_count
    print(urls_list)  # длина списка ссылок должен совпадать с кол-вом потоков
    p = Pool(processes=process_count)
    p.map(get_data, urls_list)  # функция и список из 3 одинаковых сайтов vk

Comments

[Влад Григорьев]

потому что, шарить глобальные списки между потоками надо правильно.
а еще правильнее сразу передавать в поток нужный прокси

сейчас у вас в потоке фактически разные копии объектов proxies - и само собой удаление элементов из одного объекта никак не влияет на другой

[anya_hacker]

Влад Григорьев, я только за, чтобы передавать конкретный прокси в функцию. Но код начинает ругаться, так как в строке
p.map(get_data, urls_list)
у get_data не должно быть никаких аргументов, вылетает ошибка

multiprocessing.pool.RemoteTraceback: TypeError: 'NoneType' object is not callable

[Влад Григорьев]

anya_hacker, глупости все можно, функцию вы придумали, вы ее и модифицировать можете

from multiprocessing import Pool
from time import sleep
from  itertools import cycle
proxies = [('R5edkrXE', 'rU1Ff396', '194.59.12.83:56451'),
           ('R5edkrXE', 'rU1Ff396', '45.147.245.164:61501'),
           ('R5edkrXE', 'rU1Ff396', '103.152.17.161:60476')]


def print_proxy(i, p):
    sleep(.1 * i)
    print(i, p)


if __name__ == '__main__':
    urls = range(1, 10)
    p = Pool(3)
    p.starmap(print_proxy, zip(urls, cycle(proxies)))

[anya_hacker]

Влад Григорьев, но прокси повторяются каждые 3 раза. Как их удалять?

[Влад Григорьев]

anya_hacker, ну так не повторяйте их, если не надо, и будет 3 потока на 3 урла.

[anya_hacker]

Влад Григорьев, есть единый список кортежей со всеми прокси, в каждую функцию не подается отдельно прокси.

[Влад Григорьев]

anya_hacker, почитайте уже основные функции по питону, все нормально передается, если нормально указать и передать.
я привел вариант кода, когда прокси меньше чем урлов, и зациклил их получение, если этого не надо, то уберите зацикливание