Проблема в том, что в Linux не работают под администратором как в Винде. А если есть доступ, то установить Firefox нет проблем - он уже входит во многие дистрибутивы, например, Ubuntu.
Поэтому ваша затея с переносным Firefox теряет весь смысл. Выше правильно пишут, что есть такая штука как синхронизация. Также можно организовать только профиль Firefox на съемном носителе.