У вас openvz с плохо настроенными лимитами на память. http://habrahabr.ru/post/53236/ вот здесь писали про нечто похожее (хотя и не совсем верно - там система управления памятью намного сложнее, чем просто ограничение виртуальной памяти). Смотрите в /proc/user_beancounters - там, скорее всего, заканчивается какой-нибудь kmemsize.
Выход - переезжать на KVM/Xen или искать хостера с нормально настроенными лимитами на память, например вот такими - http://hastebin.com/doyuhesosu (здесь лимиты выставлены через physpages и lockedpages, что тоже далеко от идеала с точки зрения гостевой ОС, но хотя бы даёт честный гигабайт памяти (после которого, впрочем, всё равно будет cannot fork).
А у Вас система 32-разрядная или 64? Если 32, то это может быть Low memory starvation.