Насколько я помню в Ubuntu Server, в отличии от Ubuntu Desktop, уже предустановлен какой-то ruby. Есть версия что RVM при установке нового ruby не до конца отвязался от системного ruby. Проверьте какой дефолтный ruby прописан в RVM. Если с этим всё ок, проверьте gem which gem
Можно для верочки сделать sudo apt-get purge ruby, чтобы вообще удалить системный ruby (но это слегка опасно)
Ещё можно попробовать bundle install --verbose, может хоть что-то скажет.
