Балансировки внутри самого модуля как таковой нет.
В вашем случае мне кажется стоит поставить какой нибудь haproxy перед nginx и им разрулить ваши пожелания.
Возможно прокатит следующее решение: отлавливаете событие on_play и делаете вызов некоего скрипта, которому в качестве аргумента передаете к примеру ID трансляции, этот скрипт проверяет, не слишком ли много уже подключенных клиентов, и если они превосходят какое то значение, то вызывается redirect при помощи
control module.
Но имхо как то слишком костыльно :)
