У вас просто закончилась память.
32-битному приложению на x86 архитектуре доступно по умолчанию 2 ГБ пользовательской памяти. С учетом того, что в эту же память замплен код самого приложения и библиотек, и фрагментации кучи - числа порядка 1.5 ГБ - практический потолок использования памяти.
Или думайте, как уменьшить расход памяти - или переходите на 64 бита.
