Сам сижу на adsl, проблемы со снижением скорости не видел.
1)iftop - проверяет нагрузку на сеть, проверьте, может что жрет сеть.
2) Сделайте traceroute google.com запишите значения в файл. Остановите GUI командой sudo service gdm stop (или другой ваш менеджер), в консоли traceroute google.com и сравните значения. Есть отличия? Возможно в GUI есть какая-то фигня.
3) Поменяйте браузер.
4) Не сидите ли вы за прокси?