Посмотрите вот тут:
https://serverfault.com/questions/666214/slow-down...
Гуглите фразу вроде:
nginx ssl slow download speed
Дополнительно (Взято с Вики):
Другими словами, при увеличении размера секретного ключа может увеличиться случайность шифруемых данных, но не обязательно возрастет сложность вычислений при расшифровке. Однако, шифрование открытым ключом использует ключ как экспоненту, поэтому значительное увеличения ключа сильно увеличивает количество вычислений, требуемых для шифрования / дешифрования данных.