Здравствуйте!
Появилась задача скачать множество страниц с сайта, попросту спарсить, список страниц есть, но не один менеджер закачек не подошёл (слишком много и не умеют качать из файла со списком).
Гуглю уже больше недели и складывается впечатление, что эта тема мало кому интересна, или специально умалчивается, не исключаю также что я не там и не так ищу...
Подскажите программу для закачки файлов из списка (win или osx) с графическим интерфейсом.
Так же вопрос к бывалым парсерам, если я качаю десятки тысяч страниц с одного сайта, у него (сайта) как то это отображается, мне нужен прокси?
Заранее всем спасибо!
По поводу прокси - это если админ будет смотреть логи, и удивится что с одного адреса дофигища страниц "просмотрено" - он уже задастся вопросом. Ну и во всяких аналитиках может увидеть. Но пока он это увидит - у Вас уже будет другой динамический айпи. А даже если и тот же - что с того? Вы боитесь что забанят? Тогда ставьте прокси - кто ж знает что за сайт, и что там за админ, и что именно он мониторит.
Download Master может это делать, но при скачивании страниц ставит индексы не в той последовательности в которой были страницы в исходном списке, а в той последовательности в которой он их скачал... То есть, в результате все страницы получаются перемешаны. Бьюсь над этой проблемой уже несколько дней - бесполезно. Других программ не нашел, есть варианты выкачивать файлы с сайтов, но мне нужен именно сами страницы.
Простой
