на роутере нужна настройка wan-интерфейса в соответствии с параметрами, выданными провайдером.
на компах нужно прописать адрес dns-сервера: либо в соответствии с параметром, выданным провайдером, либо указать в качестве dns-сервера ip-адрес lan-интерфейса роутера, если последний умеет выступать в качестве dns-прокси.