Сохранить страницу при помощи чего ?

Question

[doublench21]

Есть бд с ссылками. 9000+ ссылок. Нужно просто напросто сохранять на локальной машине html файл ссылки. Делал это при помощи Simple Html Dom parser, но это крайне медленно и бывает что затыкается при выполнении в цикле. Как лучше и быстрее это можно реализовать ?

Answer 1

[Александр Таратин]

wget

Answer 2

[s_romko]

Еще можно CURL использовать.

Answer 3

[Дмитрий]

curl используй. Есть еще такая штука как parallelcurl, которая позволяет делать это быстрее

Answer 4

[algebris]

рекурсивная скачка через
wget -r -l 1,
можно настроить скачку через wget достаточно гибко, ограничив например типом файлов, источником - доменом и т.д.
muff.kiev.ua/content/wget-rukovodstvo-gnu-wget