Зависает машина при больших вычислениях. Как решить проблему?

Всем привет.

Питон изучаю недавно и наткнулся на одну проблему.
При вычислении на больших объёмах данных, подвисает вся машина.

Если конкретно, скачал https://www.continuum.io/downloads для PYTHON 3.5.
Запускаю всё это дело в Far-e.

Есть две м-цы:
<60000x1766 sparse matrix of type '<class 'numpy.float64'>'
        with 120000 stored elements in Compressed Sparse Row format>

<60000x22861 sparse matrix of type '<class 'numpy.float64'>'
        with 8365759 stored elements in Compressed Sparse Row format>

from scipy.sparse import hstack
train=hstack([data1,data2]).toarray()

комп виснет минут на 15.
Как это можно обойти? А ещё лучше добавить например вывод %, от общего кол-ва вычислений.

Заранее спасибо.
  • Вопрос задан
  • 830 просмотров
Решения вопроса 1
ADR
@ADR
Delphi, Python, LabView, C, electronic, Qt/C++
Если проблема в нагрузке процессора, то можно уменьшить приоритет потока чтобы не висла система.

Но похоже что вся проблемав том, что вы хотите создать массив на 11Гб методом .toarray()
Ответ написан
Пригласить эксперта
Ответы на вопрос 1
vechnoe
@vechnoe
Tornado, Django, Postgres, Asyncio, Clojure
Чтобы понять что именно грузит ресурсы нужно профилировать. Иначе это все гадание на кофейной гуще.

Вот подробно про это (читать отсюда): https://habrahabr.ru/company/mailru/blog/201594/
Ответ написан
Ваш ответ на вопрос

Войдите, чтобы написать ответ

Войти через центр авторизации
Похожие вопросы