Многопоточный парсинг на python, как правильно реализовать?

Question

[Шамуэй]

Есть 500 txt файлов, в каждом файле лежит 1000 ссылок(через запятую). Все ссылки относятся к одному сайту.
Как правильно можно реализовать многопоточный парсинг по этим страницам хотябы в 10-20 потоков

Я придумал такой вариант, но незнаю он верный или нет?

# Примерный псевдокод
# Беру из папки первый txt файл
# Извлекаю из файла 10 ссылок
# Для каждой ссылки запускаю отдельный поток
# Сохраняю результат в бд
# Ожидаю завершение последнного потока
# Сон от 10 секунд до минуты
#Удаляю из файла эти 10 ссылок
# Беру следующие 10 ссылок
# и так далее

Это нормальный вариант или есть более лучше и верный подход?
И что лучше использовать multiprocessing или thread?

Answer 1

[sim3x]

scrapy
cat list*.txt | parallel --jobs 20 script.py

Comments

[Шамуэй]

Такой вариант не подойдет по тз нужно делать парсинг на bs4. Точнее парсер уже даже готов осталось решить проблему с многопочностью

[sim3x]

Хомон, bs = плохо

В скрапи можно использовать что угодно
В своем скрипте можно делать, что угодно

Answer 2

[longclaps]

Лучше aiohttp