Ошибка RuntimeError: can't start new thread на Python (MacBook Pro M1 2020 ОЗУ 8 Гб) как настроить или обойти?

Question

[Melograno]

Я не являюсь програмистом и знания очень скудные по данной теме.
Передо мной стоит задача выгрузить исторические данные из Yahoo Finance.
Для этого использую Python и конкретно библиотеку yf.download
Код верный, так как у преподавателя все работает, НО! он использует ПК на Windows,  у меня же MacBook Pro (M1 2020 ОЗУ 8 Гб).
Необходимо выгрузить данные по 4933 акциям, и когда доходит примерно до 2000 процесс останавливается и не идет дальше. и выскакивает ошибка RuntimeError: can't start new thread
Я думаю, что проблема в компьютере (логично предположить).

Если кто-нибудь знает, как это обойти (без смены компьютера), пожалуйста, напишите.

на этом сайте был вопрос, но решение не подошло

код:

nasdaq_stocks = yf.download(tickers = nasdaq_tickers, period = 'max', interval = '1d', group_by = 'ticker')

Результат:

[                       0%                       ]  13 of 4933 completed
---------------------------------------------------------------------------
RuntimeError                              Traceback (most recent call last)
Input In [25], in <cell line: 1>()
----> 1 nasdaq_stocks = yf.download(tickers = nasdaq_tickers, period = 'max', interval = '1d', group_by = 'ticker')

File ~/opt/anaconda3/lib/python3.8/site-packages/yfinance/multi.py:105, in download(tickers, start, end, actions, threads, group_by, auto_adjust, back_adjust, progress, period, show_errors, interval, prepost, proxy, rounding, timeout, **kwargs)
    103 _multitasking.set_max_threads(threads)
    104 for i, ticker in enumerate(tickers):
--> 105     _download_one_threaded(ticker, period=period, interval=interval,
    106                            start=start, end=end, prepost=prepost,
    107                            actions=actions, auto_adjust=auto_adjust,
    108                            back_adjust=back_adjust,
    109                            progress=(progress and i > 0), proxy=proxy,
    110                            rounding=rounding, timeout=timeout)
    111 while len(shared._DFS) < len(tickers):
    112     _time.sleep(0.01)

File ~/opt/anaconda3/lib/python3.8/site-packages/multitasking/__init__.py:119, in task.<locals>.async_method(*args, **kwargs)
    116     single = config["POOLS"][config["POOL_NAME"]]['engine'](
    117         target=_run_via_pool, args=args, kwargs=kwargs)
    118 config["TASKS"].append(single)
--> 119 single.start()
    120 return single

File ~/opt/anaconda3/lib/python3.8/threading.py:852, in Thread.start(self)
    850     _limbo[self] = self
    851 try:
--> 852     _start_new_thread(self._bootstrap, ())
    853 except Exception:
    854     with _active_limbo_lock:

RuntimeError: can't start new thread

[********************  41%                       ]  2033 of 4933 completed

Comments

[FOUREX]

Можно весь код?

[Melograno]

FOUREX,

Доброго времени суток.

Если честно я не знаю как код сюда засунуть, я не программист, увы ;(
Сейча спосле вашего ответа искал как поделиться ноутбуком нашел ответ что самое лучшее на github разместить. Я туда залил.

https://github.com/Melogra/Melogra/blob/main/stock...

Если это не удобно, подскажите как я мог бы его выслать.

[FOUREX]

Вы говорили преподавателю об этой проблеме? Он вам ответил?

[Melograno]

FOUREX, да говорил. там была еще проблема в данными. мы думали, что устранив её код будет исполняться. У преподавателя все работает, но у него windows, а у меня мак (никогда бы не подумал, что огребу такие проблемы с яблоком). Поскольку проблема вылезла только сегодня, преподаватель еще не ответил по решению. Завтра поищет решение, но я решил обратиться в сеть, поскольку вся эта история нужна для работы и сроки поджимают, думал, что это просто решить. Но начал читать про многопоточность и у меня волосы дыбом стали. ничего не понимаю ((((

[Melograno]

FOUREX, я вычитал про threading, но как это встроить в свой блокнот не понимаю совсем (я финансист). наверняка как-то можно написать код чтобы он типо частями выгружал данные с yahoo. Не может быть, чтобы комп на котором запускаются тяжелые программы для обработки видео и т.п., не потянул парсинг (если я правильно употребляю этот термин) простых данных. Там их не так-то уж и много.

[Алан Гибизов]

Код в вопросе надо обернуть тегом code для корректного отображения. Удобно это делать кнопкой </>
См.п.3.8 Регламента.

[Алан Гибизов]

Melograno, преподаватель запускает код на своем windows в jupyter notebook/Anaconda?

[Melograno]

Алан Гибизов, я не знаю если честно. 99% что да.

[Melograno]

Алан Гибизов, извините новичок. не знал

[Алан Гибизов]

Melograno, на будущее ознакомьтесь
И я думаю, совет ScriptKiddo, ограничить threads - хорош. По-умолчанию там «сколько влезет», но возможно с M1 не всё так просто.

[Melograno]

Алан Гибизов, Ознакомился.

К сожалению, перепробовал False, 3, 5, 100, но моя проблема не решена. Буду пытаться дальше найти ответ.
Скорее всего он на поверхности и тут дело действительно в новом процессоре M1

Answer 1

[ScriptKiddo]

Попробуйте выставить параметр threads в False, чтобы грузить в один поток или числом укажите нужное количество потоков. Например: 10

yf.download(tickers = nasdaq_tickers, period = 'max', interval = '1d', group_by = 'ticker', threads=False)
yf.download(tickers = nasdaq_tickers, period = 'max', interval = '1d', group_by = 'ticker', threads=10)

Comments

[Everything_is_not_so_bad]

Возможно, достаточно и 3-5 потоков.

[Melograno]

К сожалению, не помогло :(

yf.download(tickers = nasdaq_tickers, period = 'max', interval = '1d', group_by = 'ticker', threads=3)

выводит это

[                       0%                       ]  10 of 4933 completed
---------------------------------------------------------------------------
RuntimeError                              Traceback (most recent call last)
Input In [23], in <cell line: 1>()
----> 1 yf.download(tickers = nasdaq_tickers, period = 'max', interval = '1d', group_by = 'ticker', threads=3)

File ~/opt/anaconda3/lib/python3.8/site-packages/yfinance/multi.py:105, in download(tickers, start, end, actions, threads, group_by, auto_adjust, back_adjust, progress, period, show_errors, interval, prepost, proxy, rounding, timeout, **kwargs)
    103 _multitasking.set_max_threads(threads)
    104 for i, ticker in enumerate(tickers):
--> 105     _download_one_threaded(ticker, period=period, interval=interval,
    106                            start=start, end=end, prepost=prepost,
    107                            actions=actions, auto_adjust=auto_adjust,
    108                            back_adjust=back_adjust,
    109                            progress=(progress and i > 0), proxy=proxy,
    110                            rounding=rounding, timeout=timeout)
    111 while len(shared._DFS) < len(tickers):
    112     _time.sleep(0.01)

File ~/opt/anaconda3/lib/python3.8/site-packages/multitasking/__init__.py:119, in task.<locals>.async_method(*args, **kwargs)
    116     single = config["POOLS"][config["POOL_NAME"]]['engine'](
    117         target=_run_via_pool, args=args, kwargs=kwargs)
    118 config["TASKS"].append(single)
--> 119 single.start()
    120 return single

File ~/opt/anaconda3/lib/python3.8/threading.py:852, in Thread.start(self)
    850     _limbo[self] = self
    851 try:
--> 852     _start_new_thread(self._bootstrap, ())
    853 except Exception:
    854     with _active_limbo_lock:

RuntimeError: can't start new thread

а при обращении к переменной зависает

nasdaq_stocks

[********************  41%                       ]  2028 of 4933 completed

[Everything_is_not_so_bad]

Melograno, надо проверить нагрузку на компьютер во время работы скрипта. Если есть возможность отслеживать количество потоков - лучше. Может, ресурсов не хватает на создание нового потока.

[Melograno]

Román Mirilaczvili, добрый день. Вот это имеете ввиду?

[Everything_is_not_so_bad]

Melograno, да, именно это.
Возможно, есть лимит ОС на количество потоков. Попробуй закрыть менее важные программы, поскольку они также требуют потоки. Может, поможет.

[Melograno]

ScriptKiddo добрый день

Выставил yf.download(tickers = nasdaq_tickers, period = 'max', interval = '1d', group_by = 'ticker', threads=0)
и помогло. Качает медленно. на всю базу потребовалось около получаса. Но вроде бы скачало. Теперь надо как-то рандомно проверить корректность скачанных данных, но это уже другая задача.

Спасибо вам.

Answer 2

[mayton2019]

Можно слегка изменить код и скачать сначала четные а потом нечетные тикеры. Может проблема с потоками M1 проскочит мимо. Ну не проскочит - тогда поделить на 4 части. Тикер по модулю 4. Я всегда так делал. Если какая-то инфо-система подавилась данными. Делаем партишенинг.