1) IP-камера должна получить IP-адрес, обусно он или статический (смотрим документацию на камеру) или динамический (DHCP)
2) Если на роутере поднят сервис DHCP, то скорее всего есть и список IP-адресов, которые он выдал для разных устройств. Если DHCP не включен - включите его, но на домашних роутерах он включен!
3) Вот по этому IP-адресу, в соответствии с руководством и заходите на сою камеру.
Но, есть камеры, у которых статический адрес по умолчанию, настраиваете себе статический адрес на вашем компухтере из заданного диапазона, и подключаетесь.