Ars1s

iptables+squid+sams

mtu понижал до 1200

от куда запускали ? нужно отследить весь маршрут от вашей проблемной сети, до вашего роутера. Ну и конечно, попробуйте напрямую отправить нефрагментированный пакет 1500 байт, с вашего роутера, и постепенно понижайте.
Не охото заниматься вангованием, но еще не понятно по L3 интерфейсам до вашего ISP, случаем не используете ли gre туннели ? Они имеют свойство увеличивать размер пакета засчёт дополнительных заголовков (GRE, IPSec и т.д.).

Postfix + Dovecot , думаю подойдет для Вас. habrahabr.ru/post/193220 тут можете почитать.

Подключите репозиторий epel

wget http://download.fedoraproject.org/pub/epel/6/x86_64/epel-release-6-8.noarch.rpm
rpm -ivh epel-release-6-8.noarch.rpm