Как сделать find быстрее?

Question

[Сергей Васильев]

Требуется найти все json файлы в каталогах и запаковать их в архив. Таковых около 100 тысяч.
Сейчас всё это работает через команду:

find /var/lib/pterodactyl/volumes/ -regex '.*\(.json\)' -size -200000k -exec tar -rvf /back.tar {} \;

Но это делается очень медленно, примерно 1 файл в секунду, уже 2 дня жду, а оно всё пакуется, есть ли способ всё это ускорить?

Answer 1

[ky0]

Я бы задачу разбил на два этапа - сначала собираете find`ом все пути к файлам, потом натравливаете на получившийся список архиватор. И зачем -regex, который наверняка даёт оверхед, если можно просто искать по маске?

Comments

[сергей кузьмин]

@Romo4ka_eto_ia

find /var/lib/pterodactyl/volumes/  -iname '*json' | tee /tmp/a.txt
tar czvf /tmp/a.tar.gz --files-from=/tmp/a.txt

если помогло - отметьте решением

[Lynn «Кофеман»]

сергей кузьмин, -name '*.json'
Зачем iname? В регулярке этого не было

[сергей кузьмин]

Lynn «Кофеман», привычка (iname) - например в джаве имена файлов начинаются с заглавной буквы...

ускорение достигается за счет сбора файлов в список и вызова tar всего один раз - затраты на name / iname пренеборежимо малы по сравнению с этим

Answer 2

[Виктор Таран]

вместо execиспользуйте xargs- профит раз в 200.
В 200 раз вас устроит ускорение ?

Answer 3

[HighMan]

find /var/lib/pterodactyl/volumes/ -type f - name '*.json' --size -200000k -exec tar -rvf /back.tar {} \;
Возможно так быстрее будет

Comments

[Виктор Таран]

быстрей чем кскргс точно не будет экзек работает медленно