У меня была другая задача, нужно было сделать наоборот, но постараюсь помочь.
Открываем файл locale (если не хватает прав на редактирование, то выполняйте через sudo):
nano /etc/default/locale
Закомментируйте всё строки с помощью символа #, кроме строки:
LANG="en_US.UTF-8"
Если такой строки нет — добавьте. Затем выполните команду:
sudo locale-gen en_US.utf8
После этого сделайте logout, либо перезапустите ОС. Чтоб обновить недостающие языковые локализации, выполните:
sudo apt-get update && apt-get upgrade.