Если к моему роутеру подключаются по wi-fi, могу ли я следить на какие сайты они заходят и что скачивают, без установки дополнительных программ подключающимся?
Да, направте Ваш трафик через локальный прокси сервер. Любой прокси сервер может логировать запросы. Только с https сайтами, ничего больше урл вам достать не светит
Технически настроить можно, сможете ли настроить вы - другой вопрос. Многие альтернативные прошивки для роутеров содержат данный функционал из коробки.