tar является все лишь архиватором в том смысле что он объединяет все файлы в один файл-архив и при этом не сжимает его. Чтобы сжать архив, tar позволяет использовать различные программы сжатия, такие как gzip, bzip2, lzma. По опыту lzma сжимает лучше чем bzip2, а bzip2 лучше чем gzip, однако lzma медленнее. Если упор делается на качество сжатия, а время не критично, рекомендую посмотреть в сторону lzma.