Если не указан дистрибутив, то абстрагируемся от него. Смотрим, с какими флагами собран пакет (какие по умолчанию), выбираем среди них префиксы путей, идем в эти пути и удаляем руками. Если этого мало и пакет поставлен из репозитория, идем туда, где складируется кеш устанавливаемых пакетов, и удаляем оттуда сами deb/rpm файлы.