Поскольку сортировка ls по умолчанию нас устроит, то можно сократить.
sort -n - нужно использовать когда идут файлы типа 0001 - к тут обычные файлы и они будут сортироваться как положено.
find . -name "*.jar" ! -name "$(ls -1 *.jar | head -n1)" -delete
Если же вариант с сортировкой по дате создания то тут можно сделать еще короче.