Если сервер работает только по доменным именам (которые злоумышленникам неизвестны), а на неправильное доменное имя выдаёт ошибку - то да, можно сказать что защищено.
Но если злоумышленник каким-то образом доменное имя всё-таки узнает - то что произойдёт с такой защитой? А ведь браузеры, при обращении к внешним документам/картинкам передают REFERER, с доменным именем в нём. Упс...