Как рассчитать, сколько примерно понадобиться proxy серверов на какой либо проект?

Question

[Hisoka]

Как рассчитать сколько нужно proxy серверов на проект? Допустим мне нужно спарсить 1000 товаров, сколько нужно прокси на это?

Answer 1

[Сергей Карбивничий]

Я парсил более 70000(70 тыс) с домашнего ip за 1 или 2 дня с небольшими промежутками(там скорость не важна была).
1000 товаров - это вообще детский сад, не о чем.

К каждому проекту нужно подходить индивидуально.

Comments

[Владимир Куц]

Если нужна полная эмуляция броузера, и необходимо задействовать прокси - то все сильно замедляется.
Я примерно такое же количество - но с учетом того что пришлось задействовать селениум (селениум-grid), и работать через прокси, перебирая и выбирая рабочие из бесплатных - заняло это уже несколько недель...

[Сергей Карбивничий]

Владимир Куц, Согласен. Но я и написал, что к каждому проекту нужно подходить индивидуально.