Ящик с лампочкой хорошее проверенное решение. Но надо не забывать на лето ее выключить, а то роутер может поджариться.
Можно еще его в суповой термос запихнуть (если влезет), а провода утеплить. Или коробочку из пеноплекса сделать. Роутер сам выделяет немало тепла, если его утеплить - не замерзнет.
