Трудность такая - в этой переменной может быть все что угодно и настоящий referer и "заглушка" от фаирвола и пустая строка и поддельный адрес.
При защите от "хотлинкинга" можно проверять что в этой переменной валидный url и в нем не ваш домен, тогда с большой вероятностью настоящие пользователи не пострадают, так как у них может быть что-то левое или пустое, но не конкретный "чужой" url.