А, ну раз мелочь не предлагать... Напишите реализацию длинной арифметики, да чтобы быстрее OpenSSL на операциях сложения, умножения и деления была минимум на 10%. Или докажите что это невозможно.
"Есть ли возможность создать 64 битные DLL под Windows из Visual Studio 2015? " есть. Нехватка памяти, кстати, наверняка не связана с разрядностью. Скорее с овнокодом.
Никаких гарантий даже полноценная виртуалка не даст, особенно с учетем возможности криво ее настроить или ступить. А вы хотите каких-то гарантий от гораздо менее изолированного окружения.