Удалить пакет с помощью пакетного менеджера можно только если он был установлен пакетным менеджером. В противном случае пакетный менеджер банально не знает, что, куда и как было установлено. И этот как раз почему всем, кто использует пакетные дистрибы категорически противопоказано самому что-то собирать, за исключением собственных программ :)