Работа с огромным количеством прокси?

Question

[michellie]

Столкнулся с проблемой, что нужно 100 000 - 1 000 000 новых прокси, каждый день, на сутки.
Кто работал с такими обьемами, как вы решали эту проблему?
1 проблема - выходит безумно дорого
2 проблема - в таком количестве, в известных мне местах, их не продают

Comments

[devalone]

У меня есть сборщик общедоступных проксей, собирает с 12 сайтов и в зависимости от дня и времени суток рабочих от 1'000 до 10'000, т.е. если добавить ещё сайтов для сбора, то тысяч 50 можно получить, больше не уверен, что получится собрать, но это речь про бесплатные.

Answer 1

[michellie]

В общем все решилось так что поставил отдельный сервер для маршрутизации, получились персональные прокси ипв6 подсетей с префиксом /32 по стоимости чуть больше 0.3 р./день.

Спасибо, больше не актуально.

Answer 2

[Александр Аксентьев]

Почему бы сразу не 10 миллионов каждый день?

https://ru.wikipedia.org/wiki/%D0%98%D1%81%D1%87%D...

С постановкой задачи что-то не так 100%.
Если вы не китайские боты которые сканят всё подряд круглые сутки, то вряд ли вам столько надо.

В самом лучшем случае айпишники стоят 1-2$, и то больше чем несколько десятков никто не даст в одни руки.
Нет такого количества просто болтающегося без дела.
В крупных ДЦ порой ловить приходится пока появятся вообще хоть какие-то свободные.