Как распаралелить wget -r?

Question

[lk52]

Нужно скачать сайт, как лучше это сделать?
И если скачивать через wget, то как скачать быстрее, возможно распаралелить?
И на сколько будет быстрее скачивание в последнем случае?

Comments

[Алексей Ярков]

gold_user: Я так VPS положил, когда с помощью ab тесты запускал ))

[lk52]

gold_user: да об этом надо подумать))

[lk52]

gold_user: так а как всё таки паралельно запустить чтобы wget на всю ширину моего канала скачивал сайт?(на сайте посещений много думаю не упадёт)

Answer 1

[Александр]

wget -m test.ru - полное зеркало.

Comments

[lk52]

Возможно распаралелить wget -m?

[Александр]

lk52: Можно в 5-7 потоков сделать скачивание списка ,рекурсив тоже ничего не даст, при закачке зеркала это никак не повлияет на скорость скачивания, большой момент - это скорость интернета, так же не забывайте, что зеркало использовать вы сможете как готовую верстку для натяжки например, бекенд придется пилить ручками.

[Александр]

lk52: Можно например раскидать по каталогам как параллель , но смысла опять же не вижу, при загрузке через wget помимо скорости интернета на вашей машине, вы закидываете запросами сервера скачиваемого сайта, от этого тоже зависит скорость , т.к он отдает вам обратно запросы.

Answer 2

[lk52]

Нашёл решение ещё проще
stackoverflow.com/questions/3430810/wget-download-...