@MelDe

Как парсить несколько сайтов одновременно selenium?

Подскажите как лучше сделать.
Нужно через selenium в хроме парсить несколько(3-10) сайтов одновременно и сохранять данные в эксель файл. Ссылки браузеры получают из одной функции(получили данные, получили ссылку, открыли ссылку, получили данные). Так же будет тг бот через API, и веб интерфейс, наверное на Flask'е. В будущем возможна миграция на хостинг.
Подскажите, какие библиотеки лучше использовать для данной задачи. Если не сложно, распишите пожалуйста, на словах как это лучше организовать.
  • Вопрос задан
  • 99 просмотров
Пригласить эксперта
Ответы на вопрос 2
AshBlade
@AshBlade
Просто хочу быть счастливым
Это задача для пакета multiprocessing - https://docs.python.org/3/library/multiprocessing.html
Ответ написан
Комментировать
@PyWebSol
import threading

def parse(url: str):
   ...

if __name__ == '__main__':
   thread1 = threading.Thread(target=parse, args=["https://example1.com/page2"]
   thread1.start()
   
   thread2 = threading.Thread(target=parse, args=["https://example1.com/page2"]
   thread2.start()
   thread2.join()
Ответ написан
Комментировать
Ваш ответ на вопрос

Войдите, чтобы написать ответ

Войти через центр авторизации
Похожие вопросы