Как многопоточно читать тхт файл Python?

Question

[jack332]

Есть тхт файл со словами
Пример:
слово1
слово2
...
слово1999999
Мне нужно совершить запрос по url адресу : primer.primer/keyword='слово'
И следовательно чтобы все пройти в один поток, нужно много времени, поэтому нужна многопоточность. Очень надеюсь на помощь :)

Comments

[pfg21]

предположу такое решение.
читать файл можно и в одним поток, он очень быстр.
а вот прочитанные слова распихивать по куче потоков запросов url, которые явно будут медленнее.
получится просто и эффективно.

[Виктор Козлов]

Можно такой связкой, если знаете асинхронность в Питоне: asyncio + aiohttp + aiofiles

Answer 1

[Dmitrii]

задача читателей писателей
Имейти в виду GIL и, соответственно, эффективность работы вашего кода

Answer 2

[Алексей Черемисин]

Вам не читать многопоточно надо, а запрашивать url нужно многопоточно. И да, asyncio и aiohttp подойдет.
Например вот https://www.twilio.com/blog/asynchronous-http-requ...

Answer 3

[mayton2019]

Мне нужно совершить запрос по url адресу : primer.primer/keyword='слово'
И следовательно чтобы все пройти в один поток, нужно много времени, поэтому нужна многопоточность. Очень надеюсь на помощь :)

Нет-нет. Это все - полная фигня постановка. Так не работает. Если кто-то что-то хочет быстро искать - он создает специальные структуры данных оптимальные для быстрого поиска. Например этот txt-файл со словами записывается в Python dictionary и там и лежит себе. Для поиска - самое оптимальное. Если памяти не хватает
то тогда этот текстовый файл переписываелся в БД типа SQLite. И ищется там уже с механиками индексов
и с более рациональным (блочным) использованием памяти (там кажется mmap используется).

Мультипоточное чтение файла здесь особо ничего не дает. При холодном старте - будет даже хуже чем одно-поточное.