@MANSUETO

Как скачать десятки тысяч страниц из списка?

Здравствуйте!
Появилась задача скачать множество страниц с сайта, попросту спарсить, список страниц есть, но не один менеджер закачек не подошёл (слишком много и не умеют качать из файла со списком).
Гуглю уже больше недели и складывается впечатление, что эта тема мало кому интересна, или специально умалчивается, не исключаю также что я не там и не так ищу...
Подскажите программу для закачки файлов из списка (win или osx) с графическим интерфейсом.
Так же вопрос к бывалым парсерам, если я качаю десятки тысяч страниц с одного сайта, у него (сайта) как то это отображается, мне нужен прокси?
Заранее всем спасибо!
  • Вопрос задан
  • 602 просмотра
Решения вопроса 1
lukoie
@lukoie
Download Master это точно может.

По поводу прокси - это если админ будет смотреть логи, и удивится что с одного адреса дофигища страниц "просмотрено" - он уже задастся вопросом. Ну и во всяких аналитиках может увидеть. Но пока он это увидит - у Вас уже будет другой динамический айпи. А даже если и тот же - что с того? Вы боитесь что забанят? Тогда ставьте прокси - кто ж знает что за сайт, и что там за админ, и что именно он мониторит.
Ответ написан
Пригласить эксперта
Ответы на вопрос 3
sim3x
@sim3x
@f9k56
Content downloader
Естественно отображается, но не все смотрят.
Если нет защиты прокси не нужны.
Ответ написан
Комментировать
dimonchik2013
@dimonchik2013
non progredi est regredi
Ответ написан
Комментировать
Ваш ответ на вопрос

Войдите, чтобы написать ответ

Войти через центр авторизации
Похожие вопросы