Как реализовать многопоточный парсинг ссылок из файла?

Question

[AnKus]

Приветствую, уважаемые знатоки.
Инересует как правильно организовать многопоточный парсинг ссылок из файла. Как организовывать потоки описано тут :
https://qna.habr.com/q/308842

У меня ситуация, такая, что есть файл тхт, в котором порядка 100 к ссылок. Как использовать этот файл и организовать работу потоков ?

Спасибо.

Answer 1

[Dimonchik]

https://www.youtube.com/watch?v=87A1Rq0CGtE&ab_cha...

Comments

[Dimonchik]

как использовать(открыть) файл

хаха

ладно, работай

Answer 2

[mayton2019]

Не всегда нужно кидаться в разработки потоков. Иногда есть подходы которые обеспечивают компромисс.
Например у тебя 100 000 ссылок. И ты хочешь запустить это в 16 независимых задач (процессов или потоков неважно). Предположим что у тебя уже есть процесс python который решает эту задачу в 1 поток. Далее если мы разделишь эти 100 000 сыслок на 16 частей - то ты можешь запустить 16 копий процесса передав ему параметр. Что-то вроде

$ python3 parser.py links.lst 0
$ python3 parser.py links.lst 1
....
$ python3 parser.py links.lst 15

Здесь параметр links.lst 15 означает что надо брать каждую 15 строку по модулю 16 их исходного файла.

Comments

[AnKus]

Интересно. Не сочтите за наглость, а как эти параметры прописать, где ? Код начинается с with open(….txt, ‘r’) и далее. Я так понимаю где-то тут нужно параметры эти указать ?

Спасибо

[mayton2019]

AnKus, ты в школе на физ-ру ходил? Там такая команда есть - "На первый-второй-третий расчитайсь!"

Вот расчитай свои линки на 16 номеров и запускай 16 процессов python. Что непонятно?