видимо вместе с ним затянулось
Не может оно само без надобности "затянуться".
rpm -qa --last вам покажет, какие пакеты были установлены последними.
Простейший тест: rpm -qi glibc -- выведет вам либо одну, либо две glibc.
Как безболезненно для 64 бит удалить 32 окружение?
yum remove '*.i686'