В ядре FreeBSD есть firewall по имени ipfw (и ещё два, но они нам не нужны); на него есть обвески, в т.ч. шейпинг и имитация потери пакетов. Исходный код открыт, можно читать, тянуть как есть, переписывать под себя: там BSD-license.
Есть Proxy-server
Squid, у него свой шейпинг. Код тоже открытый, можно брать и переделывать, но насчёт лицензии я яне уверен - может, она GPL.
Почитайте документацию по обоим, в первую очередь обращая внимание на теорию шейпинга.