Почему не могу создать умеренное количество тредов в питоне?

Question

[astrotrain]

Есть код, в котором создается 900 тредов для загрузки файла. Но я получаю такую ошибку

Traceback (most recent call last):
  File "C:/Users/bb/Desktop/wp/Новая папка/upload.py", line 132, in <module>
    thread.start()
  File "C:\Users\bb\AppData\Local\Programs\Python\Python35-32\lib\threading.py", line 844, in start
    _start_new_thread(self._bootstrap, ())
RuntimeError: can't start new thread

Хотя свободной памяти достаточно. Почему такое происходит и как решить?

Comments

[Roman K]

Если у тебя 900 тредов — ты делаешь что-то не так. Зачем столько?

[astrotrain]

Roman Kitaev: ну это краулер, он обходит страницы и обрабатывает их. Вопрос в другом, почему я не могу использовать большее количество тредов?

[astrotrain]

Pavel Denisov: спасибо за линк, я просто привык работать с тредами, это более-менее устоявшееся понятия во многих языках, и с нуля разбираться не нужно. Я так понимаю что в multiproccessing может быть такая же ситуация, что поток не создастся (если их много). И я так понимаю это какая-то высокоуровневая обертка нат threading, нет?

[astrotrain]

Pavel Denisov: посмотрю тогда в сторону multiproccessing, еще раз спасибо.

[Roman K]

astrotrain: разберись, как работают треды и в чём их отличие от процессов. А ещё почитай про GIL. И пойми, что тебе достаточно 10 тредов, чтобы кроулить всё, что твоей душе угодно. А ещё лучше не плодить велосипеды и написать свой кроулер на Scrapy.

[JaxxDexx]

Попробуй использовать gevent

[astrotrain]

Roman Kitaev: а как реально определить сколько тредов нужно? ресурсы системы полностью не загружены, получается что можно было бы и добавить потоков.

[Roman K]

astrotrain: Ресурсы системы и не будут загружены, т.к. система ждёт ответ от сервера и не тратит на это ресурсы. https://ru.wikipedia.org/wiki/Закон_Амдала

[Roman K]

astrotrain: Смысл в том, чтобы в (почти) каждый момент времени все твои треды были заняты и ждали ответа. Почти, потому что подключение к серверу является блокирующей операцией.

[astrotrain]

Roman Kitaev: я так понимаю что камнем преткновения тут является GIL? И если треды не такие эффективные, то лучше использовать мультипроцессинг получается?

[Roman K]

astrotrain: НЕТ НЕТ НЕТ, хоспаде, я же попросил разобраться с тредами, процессами и GILом.

[Roman K]

astrotrain: На вскидку, примерно 7-10 тредов для тебя будет оптимальным. Но это зависит от времени ответа сервера.

[astrotrain]

Можно ссылку на различие процессов и потоков в питоне? Потому что я не понимаю как де-факто отличается скорость работы threading и mutliprocessing модулей.

[dvska]

Для краулера нужно mutliprocessing + в каждом процессе gevent|asyncio.

Виндовс лучше выкинуть.

Answer 1

[xSkyFoXx]

В зависимости от того, какой операционной системой вы пользуйтесь, ядро ОС выделяет фиксированный размер стэка для каждого из процессов. Обычно это не очень большая величина, и так например в моей Ubuntu это 8 МБ.
Как мне кажется, у вас просто исчерпывается адресное пространство (так как на стеке ещё находится много метаданных), и по этому интерпретатор запрещает Вам создавать дополнительные треды. Если вы уверены в том, что выделаете, и вам действительно надо 900 тредов, вы можете контролировать этот процесс вручную:

>>> import threading
>>> threading.stack_size()
0
>>> threading.stack_size(64*1024) # 64 KiB

А в случаи с Python и кроулерами, если кроулер сам по себе достаточно мал (что скорее всего правда, зависит от вашего кода), большую часть времени вы потратите на раундтрип до сервера и обратно за HTML-контентом. Т.е. 80-99% времени процессор будет простаивать, ожидания ответа от сетевого драйвера. В таких случаях я использую асинхронные вызовы и получаю прирост производительность в 4-8 раз по сравнению с синхронной программой и раза в 2 - по сравнению с многопоточной.

Comments

[astrotrain]

Спасибо за развернутый ответ. Но как узнать сколько памяти нужно каждому треду? И какой асинхронной библиотекой(я так понял их множество) вы пользуетесь?

[xSkyFoXx]

На счёт объема памяти - я бы провёл эксперимент для своих URL-ов, начав с 4 КБ.
На счёт библиотеки:
1) На различных длинных операциях ввода-вывода старайтесь возвращать генератор (yield), а не значение (return), а логику процессинга реализуйте ниже;
2) Я использую часть стандартной библиотеки - concurrent.futures c ThreadPoolExecutor, но альтернатив не пробовал.

Обратите внимание на:

Changed in version 3.5: If max_workers is None or not given, it will default to the number of processors on the machine, multiplied by 5, assuming that ThreadPoolExecutor is often used to overlap I/O instead of CPU work and the number of workers should be higher than the number of workers for ProcessPoolExecutor.

и старайтесь понимать, на каком железе вы запускаетесь. Иначе на вашем компьютере с 16-ю ядрами всё будет летать, а на дешёвом AWS-инстансе даже однопоточное приложение будет работать быстрее из-за того, что время на переключение контекстов будет намного больше, чем даже сетевое I/O.

[astrotrain]

xSkyFoXx: Ясно, спасибо.