Ситуация такая. Для наполнения базы нужно парсить сайт N. Сам парсер написан и работает через прокси на Amazon.
Но на странице сайта еще есть информация, которую можно получить, если отправить правильно сформированный http запрос. На локальной машине все получается, но через прокси у N Амазон видимо в бане и нужную инфу не досылает.
Вопрос в том, есть ли у кого-нибудь идеи, как это обойти. На данный момент пришлось снизить нагрузку и делать дополнительный запрос (для той самой дополнительной информации) через домашний прокси, но это не самый лучший вариант.
Соревноваться с N в нахождении бесплатных прокси и тд - бессмысленно, а по айпи они банят очень часто.
Да, можно дать всем юзерам расширение для браузера, которое будет делать те же самые запросы по 1 разу в минуту, но тогда отправляемые данные юзер сможет поменять, а это не желательно.
Средний
Простой
