Как парсить на бесплатных прокси?

Question

[PendalF89]

Прошу у вас совета: есть непопулярный сайт, который я хочу спарсить и есть список бесплатных прокси https://awmproxy.com/freeproxy.php
Я пытаюсь использовать эти прокси в своём PHP-скрипте, но в 90% случаев я получаю ошибку с кодом 409 (если паршу сайт на http) и 400 (если на https).
Все прокси, которые выдавали подобную ошибку хостятся на cloudflare, например: 104.28.16.153:80
В разделе помощи на cloudflare перечислены несколько причин, почему может возникать такая ошибка: https://support.cloudflare.com/hc/en-us/articles/3...
Кто-нибудь сталкивался с подобными ошибками? Как их обходили?
И если с подобным не сталкивались, то можете посоветовать бесплатные/платные прокси, которые бы поддерживали примерно 200 одновременных соединений?

Answer 1

[Ivan Yakushenko]

Большая часть всех прокси которые есть в открытом доступе давным давно в черных списках большинства крупных сайтов, так что 90% блоков - вполне справедливо.
Лично я много раз пользовался luminati - у них есть API, через который ты делаешь запросы к сайту, каждый запрос с новым IP. Называется эта услуга у них "Data Center", стоит всего 0.50$ за 1GB трафика переданного через них, при регистрации и привязки карты получаешь бонусные 5$, так что можешь попробовать.

Comments

[PendalF89]

Круто! Спасибо!
Был на этом сайте на днях, но не знал что можно платить за GB.
Если там есть реферальная программа, готов по твоей ссылке зарегаться, чтобы тебе бонус упал.

[Ivan Yakushenko]

PendalF89, не знаю, да мне и не нужно. Пользуйся.

[Роман]

Прямо таки "пахнет" рекламой

[Ivan Yakushenko]

Роман, о, ты из секты свидетелей рекламы?

[Роман]

Ivan Yakushenko, молодой человек, обращайтесь ко мне на Вы )

не вашего родственника случаем упекли за хищения?

[Ivan Yakushenko]

Роман, о, Вы из секты свидетелей рекламы?