Зависает машина при больших вычислениях. Как решить проблему?

Question

[Денис]

Всем привет.

Питон изучаю недавно и наткнулся на одну проблему.
При вычислении на больших объёмах данных, подвисает вся машина.

Если конкретно, скачал https://www.continuum.io/downloads для PYTHON 3.5.
Запускаю всё это дело в Far-e.

Есть две м-цы:

<60000x1766 sparse matrix of type '<class 'numpy.float64'>'
        with 120000 stored elements in Compressed Sparse Row format>

<60000x22861 sparse matrix of type '<class 'numpy.float64'>'
        with 8365759 stored elements in Compressed Sparse Row format>

from scipy.sparse import hstack
train=hstack([data1,data2]).toarray()

комп виснет минут на 15.
Как это можно обойти? А ещё лучше добавить например вывод %, от общего кол-ва вычислений.

Заранее спасибо.

Answer 1

[ADRian]

Если проблема в нагрузке процессора, то можно уменьшить приоритет потока чтобы не висла система.

Но похоже что вся проблемав том, что вы хотите создать массив на 11Гб методом .toarray()

Comments

[Vlad_Fedorenko]

Там scipy, он и так поверх numpy работает

[ADRian]

Vlad_Fedorenko: не думаю что программа из одной строки состоит)

[Денис]

Как изменить приоритет для процесса python.exe, пока нагуглить не удалось...

[ADRian]

den_labs: www.ilnurgi1.ru/docs/python/modules_user/pyqt/qtco... это как вариант. Но долно быть что-то и попроще.

[Денис]

По мне это сложновато...

[ADRian]

den_labs: еще можно:
<команда для изменения приоритета> python my_programm.py
поищите как в виндовсе запускать процеси с заданым приоритетом

[ADRian]

.toarray() — это плохая идея. Там 60000×(1766 + 22861)×8÷1024÷1024÷1024 = 11Гб (!!) ОЗУ используется.

[ADRian]

тогда как hstack([data1,data2]) (без .toarray()) будет весить (8365759+120000) × (~32) ÷ 1024^2 = 258 Мб

[Денис]

Да, по памяти там большой отжим был. И если на одной машине были тормоза, то на другой просто падало при попытке сделать .toarray() и это действо действительно оказалось не обязательным.
Вообщем всё удачно решилось.
Также удалось разобраться, как запустить питон с низким приоритетом).

Спасибо.

[ADRian]

den_labs: Удачи)