Качественно прибить торренты с помощью iptables не получится. Хотя бы потому, что можно для них выставить 80 и 443 порты.
Стандартный подход - это включить логгирование iptables, снять кусок лога, проанализировать его и создать нужные правила, поместив их выше логирования через iptables
-I
И так шаг за шагом включать правила, уменьшая количество записей в логе. Затем запретить все не разрешенное.
подключения идут по очень разным портам. Т.е. не только 80, 443, а 52304, 52558 и тд.
Вы должны понимать разницу между новыми запросами, идущими с любого порта на например 80 и 443 и ответами на них, идущими с 80 и 443 на этот же любой порт.