Если ваш роутер способен быть DNS-сервером, а не только лишь проксировать запросы на DNS гуглпа, клаудфлера или провайдера, то вы на роутере можете в конфигурации локального днс-сервера прописать свои внутренние домены.
Кастомные прошивки для роутеров обычно это умеют.
Ели роутер это не позволяет, то ДНС сервером можно сделать ваш домашний компьютер. Но нужно будет держать его включенным, чтобы, скажем, с телефона в вайфае можно было ходить по этому домену.
Если вам нужно ходить по домену только с компа, то как выше предложили, можно прописать домен и ip в файле hosts
