Как парсить несколько сайтов одновременно selenium?

Question

[Иван]

Подскажите как лучше сделать.
Нужно через selenium в хроме парсить несколько(3-10) сайтов одновременно и сохранять данные в эксель файл. Ссылки браузеры получают из одной функции(получили данные, получили ссылку, открыли ссылку, получили данные). Так же будет тг бот через API, и веб интерфейс, наверное на Flask'е. В будущем возможна миграция на хостинг.
Подскажите, какие библиотеки лучше использовать для данной задачи. Если не сложно, распишите пожалуйста, на словах как это лучше организовать.

Answer 1

[Сергей Соловьев]

Это задача для пакета multiprocessing - https://docs.python.org/3/library/multiprocessing.html

Answer 2

[PyWebSol]

import threading

def parse(url: str):
   ...

if __name__ == '__main__':
   thread1 = threading.Thread(target=parse, args=["https://example1.com/page2"]
   thread1.start()
   
   thread2 = threading.Thread(target=parse, args=["https://example1.com/page2"]
   thread2.start()
   thread2.join()