Можно, только это будет неудобно для посетителей.
А так, проблем никаких, кроме тех, где строго требуется DNS-имя.
Обычно, для одного IP-адреса - несколько доменов.
На каждом домене - один или несколько сайтов.
Поэтому, доступ по IP или закрывают совсем, или вешают страницу-"заглушку".