Версию ставь 3ю. Но чтобы она заработала надо сначала установить веб-сервер (apache,nginx или lighttpd), PHP, сказать веб-серверу, что странички с расширением .php надо не обрабатывать самому а отдавать PHP. В общем-то ничего сложного стандартный LAMP. Советую сначала погуглить на тему установки LAMP и базы данных на Linux. Потому что вся "установка" Joomla, как вы говорите, сводится к разархивированию скачанного архива в корневую директорию веб-сервера, ну или в директорию виртуального хоста. А дальше просто обращаемся из браузера по имени к нашему веб-серверу, а там уже вводим параметры(логин и пароль от БД и т.п.) и просто тыкаем в кнопку далее.
Простой
Сложный
Средний
