Как оптимизировать работу в JupyterNotebook?

Question

[Иосиф Гудман]

Доброго времени суток.
Прохожу на Stepik курс по machine learning и столкнулся с довольно неприятной проблемой.
Во время подготовки данных конечный датафрейм разросся до небывалых размеров

Есть ли какая-то возможность оптимизировать использование ресурсов компьютера, а то работать невозможно. При запуске ячейки комп просто зависает. Даже для того, чтобы вывести сообщение на скриншоте компьютер довольно сильно залагал.

Комп имеет старенький intel core i3 и 8гб ddr3. Или всё-таки надо менять комплектующие?

Answer 1

[Данил]

Первым делом посмотрите, как используется память:
df.memory_usage(deep=True)

А дальше оптимизируйте тип каждой колонки:

• Для категориальных данных:
  df['object'].astype('category')
  
  
• user_id и days, например, должны быть int type
  
• ну и float64 вам скорее всего тоже не нужен. Достаточно float32 , а иногда и float16
  

Answer 2

[Николай]

Можно использовать популярный скрипт reduce_mem_usage например отсюда. Он проверяет переменной какого типа достаточно чтобы описать минимальное и максимальное значение в колонке и преобразует тип. Предварительно нужно преобразовать целочисленные колонки в int64. Или загуглите и найдите вариант скрипта, который лучше подойдет, в сети море подобных скриптов с небольшими вариациями, в том числе с обработкой NaN, автоматической проверкой на целочисленность данных и т.п.

Answer 3

[Иосиф Гудман]

Изменил тип одной из колонок с float64 на int через df.step_id.astype(int) и использование памяти уменьшилось с 4gb+ до 3,4gb . Правда комп был абсолютно неработоспособным 15 минут, пока выполнялись операции по изменению типа столбца

Comments

[Николай]

Возможно имеет смысл обрабатывать данные после загрузки, во всяком случае до объединения в конечный dataframe.