Из готовых, уже были перечислены RouterOs и Pfsense первая из них платная, вторая бесплатная, но обе себя хорошо покажут.
Zentyal не советую, не стабильная, пробовал года четыре назад, мне не понравилась.
Есть ещё платные решения от Российского производителя даже видел, но если честно не очень.
Если не подходят RouterOs и Pfsense, то похоже придётся заказывать разработку, только будет это очень не дёшево, не быстро и по первости много косяков или просто не по вашему сделано, что потребует переделки некоторого кода.
Многие провайдеры, пишут свой билинг как кому удобней.
Заострять внимание на чём-то одном скорей всего не очень хорошая идея, непонятен мотив вашей задачи и для чего вы это планируете.