Killed в консоли при выполнении скрипта, что делать?

Question

[Оптимус Пьян]

Работает скрипт запущенный из консоли, скрипт парсит однотипные странички одинакового размера, через абсолютно разные промежутки времени появляется сообщение Killed. Смотрю лог kern:

Sep 24 08:19:49 servername kernel: [11101333.633259]
Out of memory in UB 13287: OOM killed process 7145 (phantomjs)
score 0 vm:2083576kB, rss:432876kB, swap:0kB

Памяти у меня 256Мб на VDS и скрипт для меня приоритетный, можно ли как-то снять ограничение или игнорировать его?

Answer 1

[Extor]

Сообщение говорит о том, что скрипт запользовал всю память и системе пришлось его убить.
Если вы не настраивали специально для него ограничения (например, с помощью cgroups), то они врядли примениимы.Одноко, и cgroups не спасут вас от того, что скрипт использует всю память. Вероятно, нужно посмотреть в сторону оптимизации скрипта.

Comments

[Александр Черных]

ну правильно. оптимайз всего, и если ничего не могло, то смотреть в сторону увеличения памяти

[Оптимус Пьян]

Александр Черных: меня только немного смущает что за один заход между Killed он успевает спарсить от 120 до 4000 страниц - огромная разница вроде бы, должно завершаться всегда приблизительно одинаково думал в этом случае

[lyeskin]

Дмитрий: А страницы нет возможности подгружать порционно и выгружать уже распарсенные ?

[Оптимус Пьян]

lyeskin: да они и так вроде по одной )) Посмотрел по совету людей скрипт, нашёл места которые может быть накапливаются, сбросил в конце итерации, сейчас перезапущу, гляну

Answer 2

[Руслан Федосеев]

можно попробовать добавить swap в файле. Будет тормозить, но работать будет
Это можно посоветовать, чтобы определить требуемый объем памяти, а потом уже сменить тарифный план на требуемый.

www.michurin.net/tools/swap-file.html

например так

Comments

[Оптимус Пьян]

Крутой кстати сайтец, спасибо!

[Руслан Федосеев]

сайт не мой, я просто разместил объяву ;)
гугл рулит ;)

Answer 3

[Nadz Goldman]

Парсить надо блоками.