Каким образом можно выкачать сайт с разных IP адресов одновременно?
Сайт даёт на скачку 1Мб в секунду. Поэтому на одном ПК загрузится небольшое количество страниц за единицу времени. Допустим, что качать в много потоков с одного ПК не вариант, так как придётся использовать анонимные прокси, а их мало ну и геморно.
Возможно ли доверить скачку некоторому количеству других ПК и существуют ли подобные сервисы?
Это всё зависит от инструментов и технологий, которыми вы пользуетесь. Самое простое, если список URL-ов, которые надо скачать, лежит в БД, то вешаете тригер на SELECT, который помечает выбранные строки как взятые на обработку. Но, опять же, всё зависит от того, на чём или с чем вы работаете.
Дмитрий: немного запутался. При чём тут БД? Я имею ввиду, что за сервис предоставляет свои IP для выполнения таких заданий? Как он называется? Дальше я уже почитаю мануалы. Мне нужно не список прокси использовать, чтобы качать через них, а назначать задания удалённым сервисам, которые скачают сайт для меня куда-то на указанный адрес. Вот и вопрос, как называются такие сервисы, где и как их можно получить.
Сложный
