Я могу навскидку предложить несколько решений, но они потребуют наличия как минимум одного L3 свича. Он нужен как минимум для смешивания трафика (маршрутов) с разных вланов
1) самый правильный - все вланы с мультикастом проходят через L3 свич, на нем вы запрещаете (acl, igmp filter) определенные группы с нужного влана
2) самый масштабируемый - на L3-свиче заходят все вланы и поднимается PIM, явно указываются маршруты для групп (ip mroute static)
3) самый сказочный - клиенты используют igmp v3 с явным указанием источника
4) самый дебильный, но не требующий никакого другого оборудования - все каналы в одном влане, а на клиентских портах висят acl на нужные src-dst адреса. Впрочем, такие же acl можно повесить на порты, к которым подключены источники мультикаста
