Как обойти бан краулера на AWS?

Question

[Лев]

Ситуация такая. Для наполнения базы нужно парсить сайт N. Сам парсер написан и работает через прокси на Amazon.

Но на странице сайта еще есть информация, которую можно получить, если отправить правильно сформированный http запрос. На локальной машине все получается, но через прокси у N Амазон видимо в бане и нужную инфу не досылает.

Вопрос в том, есть ли у кого-нибудь идеи, как это обойти. На данный момент пришлось снизить нагрузку и делать дополнительный запрос (для той самой дополнительной информации) через домашний прокси, но это не самый лучший вариант.

Соревноваться с N в нахождении бесплатных прокси и тд - бессмысленно, а по айпи они банят очень часто.

Да, можно дать всем юзерам расширение для браузера, которое будет делать те же самые запросы по 1 разу в минуту, но тогда отправляемые данные юзер сможет поменять, а это не желательно.

Спасибо!