Есть мнение что программа просто не может работать с таким кол потоков. может попробовать 2 просчета одновременно запустить?
А вы точно создаёте 64 потока? Такое чувство что только 32.
int processors= 32; //getNumberOfProcessors();
for (int core = 0; core < processors; core++)
{
threads[i] = CreateThread( 0, 0, (LPTHREAD_START_ROUTINE)testMathThread, params, 0, NULL);
//::SetThreadPriority(threads[i], THREAD_PRIORITY_HIGHEST);
//::SetThreadAffinityMask(threads[i], 1 << i );
}
значит, вы что-то делаете не так.