Как понять сколько оперативки кушает метод?

Question

[Adel Khalitov]

Есть достаточно массивные метод, который обрабатывает массивы данных.
На сервере он кушает много оперативки. Мне нужно найти причину именно в каком месте он ее кушает.
Как найти это место с помощью chrome://inspect.
Сделал 3 snapshot:
Это на месте определенного breakpoint в определенной итерации


Это в за определенные периуд, начальный.


Это за весь периуд работы метода


Но что на них показано я не понимаю. Как найти то что мне нужно?

Comments

[Inviz Custos]

К этому всему еще нужен и сам код, который ты пытаешься профайлить

[Adel Khalitov]

Inviz Custos, Что это значит?

[Inviz Custos]

Adel Khalitov, код приложения вашего. Тот, который:

Есть достаточно массивные метод, который обрабатывает массивы данных.

[Adel Khalitov]

Inviz Custos, Оу, там действительно очень много всего, и к сожалению я не могу этого сделать( Бумаги о конфеденциальности(
Мне бы в общих чертах понять как проверить пиковое потребление RAM и в какой момент это происходит

[Inviz Custos]

Adel Khalitov, ну как минимум профайлить работу только самой функции.
К сожалению, "гадание" по скриншотах ни к чему не приведет. Нужно видеть сам код.

[Adel Khalitov]

Inviz Custos, А вы сможете скинуть мне хотябы наводку, что мне нужно почитать, посмотреть?

[Inviz Custos]

Adel Khalitov, невозможно составить краткий универсальный гайд.
Опишите хотя бы какого рода работа там выполняется. Обработка файлов или что-то подобное?

[Adel Khalitov]

Inviz Custos, Чтение массивов информации из файловов, манипуляция с этими данными, работа с mongo (чтение), опять работа с массивами данных, работа с mongo (запись), запись массивов данных в файлы

[Inviz Custos]

Adel Khalitov, файлы обрабатываются поочередно или все вместе? Или же там всего 1 файл?
Как именно вы читаете файлы и пишете в них? fs.readFile ?

[Lynn «Кофеман»]

А самый главный вопрос: а это реально важно?

[Adel Khalitov]

Inviz Custos, Читаются файлы fs, далее парсится с помощью xml-flow (xml файлы),

for (let file of params.filesToGet) {
     const result = await xmlParser.parseXMLAsync({file, folderLocal: params.folderLocal})
     data[file.fileName] = result;
}

В конкретно одном методе который я тестирую задействованно 4-6 файлов.

Записывается по аналогии и с чтением, другой метод который из json парсит в xml далее с помощью fs записывается.

[Inviz Custos]

Adel Khalitov, все равно очень мало информации. Не видно как именно читаются файлы.
Хотя уже видно как минимум первая проблема - вы все сохраняете в память в объекте data

[Adel Khalitov]

Да, это так.
Но и все таки, вы можете на своем примере привести пример, где показана максимальная прожорливость той или иной программы?

[Inviz Custos]

Adel Khalitov, например, если чтение идет через fs.readFile - то это уже тоже проблема (особенно при больших файлах), так как весь файл сначала считывается в память, а затем только отдается в качестве результат работы функции.
Вариантов проблемных мест много. Пытаться что-то угадать не видя кода - бесполезное дело.

[Adel Khalitov]

Алексей Тен, ну мало ли)
Inviz Custos, Да, я это понимаю, именно поэтому я думаю есть дебаггеры)
Мне нужно найти в какой момент и именно какой метод кушает это все дело)

[Inviz Custos]

Adel Khalitov, также сборщик мусора не моментально освобождает память. Даже если ссылок на переменную уже не осталось, сборка мусора все равно произойдет спустя какое-то время. Можно, конечно, вызывать GC руками, но нужно ли оно?)

[Adel Khalitov]

Inviz Custos, То есть я так понимаю, то что я хочу сделать это не возможно с помощью chrome inspect?

Answer 1

[Robur]

попробуйте вот тут почитать: https://www.toptal.com/nodejs/debugging-memory-lea...
Ну и в целом погуглить как искать утечки памяти и работать со снапшотами heap в ноде. Универсального ответа нет, но есть методы которые могут вам помочь. Heap diff помогает если вы знаете момент когда память занимается и можете сделать и сравнить два снапшота до и после, там найти чем занята память и попробовать найти контекст с которым эти данные связаны и с контекста возможно найдете метод.