Что делать если python скрипт умирает killed?

Question

[origami]

Есть достаточно мощная ВПСка, 24гига ОЗУ и сложный скрипт.
Ставлю его выполняться и минут через 20 он умирает и отдает killed.
Как с этим бороться? На моем компе (который намного менее мощный) скрипт отрабатывал отлично, на ВПСке - беда

OOM killed process 60614 (python3) total-vm:23105700kB, anon-rss:7631060kB, file-rss:4kB

Comments

[GavriKos]

Как запускаете скрипт на ВПС?

[origami]

GavriKos, python3 main.py

[mayton2019]

Причина - переполнение памяти. Твой скрипт стал слишком прожорливым и операционка его убила спасая себя. Есть в Линуксе такой функционал. Убийство процессов в порядке приоритета.

Что сделать? Понять где изменились условия. Возможно больше стало приходить данных из базы. Ставить больше ОЗУ нет смысла. Есть интуиция мне что подсказывает что и 64 гига и 128 так-же утекут из-за внутренних утечек.

Вообще поищи разработчика этого скрипта. И сделай ему мемори профайлинг хотя-бы за 5 минут до падения.

[GavriKos]

origami, Вот так напрямую через ssh? Так может у вас просто сессия рвется и тогда скрипт перестает выполняться?

[origami]

GavriKos, в screen'е запускаю. Насколько я понимаю это что то типа докера

[GavriKos]

origami, а, ок.

Answer 1

[rPman]

Сначала нужно понять от чего умирает скрипт, если это oom, смотри логи системы
dmesg -T | egrep -i 'killed process'
Нехватка памяти может быть редко решена добавлением свопа (создать файл или раздел, проинициализировать его с помощью mkswap, включить swapon), например когда ее не хватает считанные десятки процентов, бывает редко можно и больше, от задач.

Некоторые не честные хостеры пишут не верную информацию об доступном объеме оперативной памяти, или к примеру выставляют разные ограничения, например лимит памяти на процесс в половину или треть от доступной, соответственно это решать с хостером.

Ну или подумать как переделать скрипт

Comments

[origami]

Скрипт падает при исполнении .readlines()
В файле много сотен миллионов строк, как это можно переписать?)

[Vindicar]

origami, ну наверно не читать сотни миллионов строк в память?!
Тебе они все нужны, или их можно обрабатывать независимо друг от друга?

[Zerg89]

origami, через readline, а не readlines
Либо ограничить количество разово читаемых строк

f = open('list.txt', 'r')
text = f.readline(2) 
print(text)