Нет возможности проверить, но я бы наверно сделал так:
В основной server добавил rewrite ^(.*)
https://www.site.ru/admin$1 permanent;
сделал отдельный server в котором прописано все для ssl, и в нем локейшен admin.
Не уверен что это правильно, первое что пришло в голову.