find . -name "file*.txt" | sort -r | head -n 1 | sed -e "s/[^0-9]//g" | read data; data=$((data + 1)); printf "file%05d.txt" "$data"
Нашли все нужные файлы, отсортировали их по убыванию, взяли первый, вытащили из него номер, увеличили номер, вывели с ведущими нулями.
Из неприятного - количество ведущих нулей, и префик файла захарткожены. Можно, и от этого избавиться, если есть желание.