OOM Killer приходит когда ядру нехватает памяти, видимо ваш процесс слишком много потребляет памяти))).
Тут есть два варианта:
1. установите -1000 в /proc/$pid/oom_score_adj (при таком раскладе OOM прийдет но грохнет кого-то другого с меньшим значением oom_score_adj).
2. увеличьте своп. Таким образом объем виртуальной памяти увеличится, и при выполнении вашей задачи вы скорей всего начнете свопиться, но зато OOM не наступит. (И тратиться на железо не придется)
Ну и мониторьте этот ваш процесс, почему же он потребляет столько памяти? может тупо течет?