Как запусить парсинг selenium многопоточном режиме?

Question

[Shato Daltsaev]

Не могу разобраться, как запустить webdriver в несколько потоков.

Хочу парсить два сайта одновременно. Есть список ean выглядит
однопоточно, это выглядит так:

def labirint(eanlist):
        pricelist = []
        for ean in eanlist:
            try:
                driver.get("http://www.labirint.ru/search/" + ean + "/?labsearch=1")            
                time.sleep(1)
                labirintBookState(driver)
                if driver.find_element_by_xpath(labirint_xpath_state).is_displayed():
                    x = driver.find_element_by_xpath(labirint_xpath)
                    price_int = int(x.text)
                    pricelist.append(price_int)
                else:
                    pricelist.append("")
            except:
                pricelist.append("")
        return pricelist

    def chitayGorod(eanlist):
        chitay_gorod_pricelist = []
        for ean in eanlist:
            try:

                driver.get("https://www.chitai-gorod.ru/search/result/?q=" + ean + "&page=1")
                time.sleep(1)
                if driver.find_element_by_xpath(chitay_gorod_xpath).is_displayed():
                    price = driver.find_element_by_xpath(chitay_gorod_xpath)
                    price_int = int(re.search(r'\d+', price.text).group())
                    chitay_gorod_pricelist.append(price_int)
                else:
                    chitay_gorod_pricelist.append("")
            except:
                chitay_gorod_pricelist.append("")
        return chitay_gorod_pricelist

option = webdriver.ChromeOptions()
chrome_prefs = {}
option.experimental_options["prefs"] = chrome_prefs
chrome_prefs["profile.default_content_settings"] = {"images": 2}
chrome_prefs["profile.managed_default_content_settings"] = {"images": 2}

driver = webdriver.Chrome(executable_path='C:\priceUpdater\ChromeDriver\chromedriver.exe', chrome_options=option)


if __name__ == "__main__":
    list_ean = getFileEan()

    labirint = labirint(list_ean)
    chitayGorod = chitayGorod(list_ean)
    print(datetime.now() - startTime)
    print("ok!")

Методы в цикле пробегаются по сайтам и собирают данные.

Как мне реализовать, чтобы два процесса driver загружались одновременно и один парсил chitayGorod, а другой labirint ?
В итоге хотелось бы получить следующее:
Чтобы запустились, два driverа параллельно и каждый парсил свой сайт. Нужно запустить два процесса , пусть каждый будет хоститься на ядре проца. Это возможно сделать? И если возможно , то как?
Попробовал, то что находил в интернете по этой теме и ничего подходящего не нашел.

Answer 1

[Илья]

Попробуй использовать модуль threading для данных целей. У меня в большинстве случаев он закрывает все вопросы по многопоточности.

Comments

[Илья]

Pavel Denisov, вполне помогут если человеку нужно записать например то, что он спарсил в файл или еще что. Просто запуск в асинхронном режиме для выполнения задач параллельно.

[Илья]

Про асинхронность согласен, не совсем верно выразился. А к потокам я больше привык, да и человек о "многопоточном режиме" все таки писал и иначе на кой ляд ему лепить эти функции в один файл? Разделил, одновременно запустил - вот тебе и два раздельных процесса.

Answer 2

[Влад Григорьев]

Если вы хотите парсить только 2 сайта, то проще разделить этот скрипт на 2 и запускать параллельно.
Если у вас таких задач много больше, тогда используйте потоки и что бы в ручную не создавать новые окна(driver = webdriver.Chrome) и не придумывать велосипед для них, лучше сразу посмотреть в сторону selenoid или его аналоги.

Comments

[Shato Daltsaev]

Сайтов будет больше двух. Хотелось бы с одного места запускать все и и к примеру отдавать по сайту на ядро процессора и пусть они параллельно это делают. Просто саму реализацию не могу понять, как сделать

[Влад Григорьев]

ну примерно так можно
почитайте что такое selenoid. И стартуйте браузер в нем.

from dataclasses import dataclass, field
from multiprocessing import Pool
from random import randint


class Driver:
    def get(self, url):
        print(url)

    def close(self):
        print('close')


@dataclass
class WebDriver:
    xpath: str = field(default='')
    url: str = field(default='')

    content: list = field(default_factory=list)

    driver: any = None

    def __post_init__(self):
        self.driver.get(self.url)

    def get_content(self):
        pass

    def return_result(self):
        for _ in range(10):
            self.get_content()
        return self.content

    def close(self):
        self.driver.close()


class Yandex(WebDriver):
    def get_content(self):
        self.content.append(f'yandex content {randint(1, 1000)}')


class Google(WebDriver):
    def get_content(self):
        self.content.append(f'yandex content {randint(1, 1000)}')


def start_parser(ClassParser):
    parser = ClassParser(driver=Driver())

    return parser.return_result()


if __name__ == "__main__":
    pool = Pool(processes=2)

    l = [v for v in pool.map(start_parser, [Yandex, Google])]
    print(l)