Ну во-первых я вам сильно не рекомендую пользоваться open-jdk из стандартных репов, скачайте нормальный HotSpot от Оракла, вот
отсюда. Лучше взять jdk в виде архива tar.gz, распаковать его куда-нибудь, можно в свою домашнюю директорию, можно в /opt/, ну и прописать JAVA_HOME=/opt/jdk1.7_... .
Если уж вам так хочется есть кактусы, то посмотрите в директории /usr/lib/jvm/
У меня там например завалялась
/usr/lib/jvm/java-7-openjdk-amd64/ - это и нужно присвоить переменной JAVA_HOME.
Не забудьте вставить это в .bash_profile или .bashrc