Если вдруг будет интересно.
Есть возможность применять правила firewall к отдельным интерфейсам в группе bridge.
Для этого включается параметр use-ip-firewall в общих настройках bridge и в правиле устанавливается параметр in. bridge port (интерфейс к которому подключены пользователи).
Проблема в моем случае была в коммутаторе, я поставил другой такой же модели и все заработало как надо. Также пробовал подключатся через коммутатор другой модели и все работало.
Если у кого-то есть идеи в чем может быть причина такой разницы пишите.