Как использовать разные прокси для каждой страницы puppeteer cluster?

Question

[guerrrka]

Как для каждой страницы (или таска) использовать разные прокси (http/https)?

Answer 1

[astronotius]

Используйте proxy-chain
Суть проста.
Для puppeteer вы используете свой локальный прокси сервер : '--proxy-server=localhost:8000'
А этот локальный прокси сервер отправляет запросы с каждой страницы на случайный ( или по очереди) взятый из массива прокси.
upstreamProxyUrl: 'http://'+random_proxy.
Поежели у вас необходимость использовать несколько кукловодов параллельно, то хорошо показала себя связка: puppeteer-cluster и proxy-chain
На среднем сервере у нас обрабатывается до 200 страниц одновременно через разные прокси.