Решил проблему. Но почему она возникала, так до конца и не понял.
В настройках Wi-Fi у роутера стоял смешанный режим 802.11b/g/n. Поменял на 802.11/g и все работает как надо. В режиме 802.11n ничего не меняется, а вот в 802.11b скорость всегда низкая ~0,9Мбит/с.
Так что при отключении Убунту роутер то ли переводил Wi-Fi в режим b, то ли в n, то ли еще что-то.
Всем спасибо за участие :)