Как быстро скачать папки и файлы с сервера (фалов более 1 млн)?

Question

[Царёв Вадим]

Как быстро скачать папки и файлы с сервера (очень много сайтов). сайтов более 400 статика нужно скачать на комп, через shh качать клиентом долго. Может кто знает как шустрей ?

Comments

[Griboks]

Для начала рекомендую отбросить npm папки.

Answer 1

[Dmitry Roo]

Сжать их на сервере в архив и скачать одним файлом.

Comments

[Alexey Dmitriev]

выбрать режим без сжатия - чтобы просто быстро все в один архив упаковалось.

Answer 2

[Aelliari]

Rclone/Rsync или сжать и перетянуть их одним файлом, можно сжимать, передавать а после распаковывать на лету во время приема

Что то вроде такого
передача

tar -c /path/to/file/ | nc -l 3333

приём

nc example.com 3333 > tar -xvf -C /path

Можно обернуть не через nc, а через ssh и добавь сжатие при необходимости
Но строго говоря я все же рекомендую Rsync

Comments

[Alexey Dmitriev]

rsync быстро не будет - он будет проверять контрольные суммы каждого файла.