Роутер с вайфай имеет порты LAN - туда и подключайтесь. Если портов не хватит, покупаете switch он же коммутатор на 5-8 портов.
Можно конечно в каждый комп поставить wi-fi адаптер, но раиоканал ненадежнее.
С логической точки зрения, на роутере включить DHCP, если не включен и настроить компьютеры на автоматическую настройку адресации. Тогда они будут в одной локальной сети.