Делаете
iptables -A INPUT -i eth1 -j REJECT
где eth1 - интерфейс со вторым IP. И всё, все порты на втором IP будут закрыты.
Если сильно-сильно нужно изолироваться по портам 80,443 и 3128 (ага, его тоже), то
iptables -A INPUT -i eth0 -s 1.2.3.4 -m multiports --dports 80,443,3128 -j ACCEPT
iptables -A INPUT -i eth0 -j DROP
где eth0 - интерфейс с первым IP, а IP 1.2.3.4 - адрес, с которого будете входить.
Ну и не забудьте установить HTTP прокси с портом 3128.
P.S. Ах, да,
ip route replace default via IP2-gw
где IP2-gw - гейтвей на втором IP, что бы выходить в Интернет всегда со второго IP.