Этой командой можно посмотреть какой именно руби используется на данный момент
lsof -c ruby | grep 'ruby$'
ruby 940 deployer txt REG 0,36 127407 56362580 /home/deployer/.rvm/rubies/ruby-2.2.1/bin/ruby
Если /usr/local/bin/ruby не используется можно смело удалить.
Если не удалил директорию с исходниками ruby, смотри в нем файл .installed.list, там увидишь все пути куда после make install залил файлы.
Это быстрая очистка файлов из .installed.list
cat .installed.list | xargs rm
но останутся пустые директории, их удалять лучше вручную
/usr/local/include/ruby-x.x.x/
/usr/local/lib/ruby
/usr/local/share/ri
Примерно так.