Wexter

sudo netstat -tanp | grep :25

Вторая строчка в interfaces закомментирована или сюда скопировалось с переносом?
Уберите allow-hotplug eth0

у вас локальная база пакетов устарела, обновите её.
apt-get update && apt-get install php5-xdebug

Если та самая часть пользователей подключена по вайфаю то тут ничего удивительного, домашний роутер не потянет большое количество одновременных подключений, не смотря на заявленные 1.9гбит/с.
Так же стоит посмотреть достаточно ли свободен канал