Какие есть альтернативы tor/proxy при парсинге?

Question

[Ivan Yakushenko]

Нужно выгрузить ~10.000.000 страниц. В интернете собрал из нескольких источников около 20к более менее живых прокси, хватило на чуть больше 1.000.000 страниц. Подключил тор - спустя 150.000 страниц полетели баны, в итоге скрипт больше времени висит в цикле пересоздавая сессию и пытаясь пробиться через бан.
Собственно сабж - есть-ли какие-то другие способы парсинга, кроме как через тор/прокси?

Comments

[devalone]

Возможно ты слишком часто парсишь.

Answer 1

[Evgen]

Потратьте 20 долларов и купите нормальные прокси. Например fine proxy мне помогали в свое время.

Comments

[Ivan Yakushenko]

В этом нет смысла, т.к. я делаю около 4000 запросов в минуту. Какой-бы "хороший" прокси не был - он будет забанен, а 1000 прокси мне на пару часов от силы хватит.

[Evgen]

можете попробовать residential IP типа chairity engine или luminati.

[АртемЪ]

В этом нет смысла, т.к. я делаю около 4000 запросов в минуту.

Так делайте 40 запросов в минуту, а не 4000.

[АртемЪ]

Я никогда при парсинге не делают более одного запроса в секунду.
Как правило значительно меньше. И никаких проблем.

[Ivan Yakushenko]

АртемЪ, предложение то стоящее, только вот у меня нет особого желания почти год парсить 10.000.000 страниц.

[Ivan Yakushenko]

Evgen, luminati - дорого, слишком много трафика уходит.

[АртемЪ]

Ivan Yakushenko,

предложение то стоящее, только вот у меня нет особого желания почти год парсить 10.000.000 страниц.

Зачем год?
Все зависит от вашего канала - на среднестатистическом домашнем 100мб/с - месяц.
Если канал пошире или серверов больше - можно и за один два дня справится.

Скорость ограничена только шириной вашего канала и возможностями сервера который вы парсите.
А от количества запросов в секунду с одного адреса она уж точно никак не зависит.

Answer 2

[АртемЪ]

Покупайте чистые прокси и не будет бана.

есть-ли какие-то другие способы парсинга, кроме как через тор/прокси?

Есть множество способов парсинга, и ни один из них не имеет никакого отношения ни тор, ни к прокси.

Тор и прокси применяют либо для отправки запросов с другого адреса, либо для сокрытия своего IP адреса. К парсингу они никакого отношения не имеют. И используются только для этих целей.

Comments

[Ivan Yakushenko]

Вы, видимо невнимательно прочитали мой вопрос: мне нужно спарсить 10.000.000 страниц, т.е. отправить 10.000.000 запросов. При оптимальных для меня по времени нагрузках мой "белый", как и любой другой IP уходит в бан за ~10000-15000 запросов, соответственно мне приходится его менять на другой. Ах да, о чем это я, это-же не имеет никакого отношения к процессу парсинга.

[АртемЪ]

Ivan Yakushenko, Я вполне внимательно прочитал ваш запрос. Вам нужно спарсить 10млн страниц И дал совет - чтобы не попадать в бан - отправлять не более одного запроса в секунду с одного IP на один ресурс.
Я сам время от времени занимаюсь парсингом.

При оптимальных для меня по времени нагрузках мой "белый", как и любой другой IP уходит в бан

Ну так зачем вы доводите дело до бана??? Ну отправили один, или максимум десяток запросов - поменяли адрес. Зачем до победного фигачить с одного адреса?

Ну даже с найденных в интернете прокси - предположим их у вас 10тыс.
Банальный расчет - если вы парсите с домашнего адреса, предположим у вас там честные 100мегабит/с, что позволяет загрузить примерно 12мб в секунду. Средняя страница в современном интернете 1,5мб, следовательно вы можете отправлять с одного хоста не более 8 запросов в секунду. Больше вам банально канал не позволит.
В итоге за секунду вы используете 8прокси.
Их у вас 10тыс. Получается повторный запрос с одного прокси будет не раньше чем через 20 минут.
В итоге 1 запрос в двадцать минут с одного прокси - за такое обычно не банят.
За сутки 500-700тыс страниц
10млн хостов за две-три недели.
Хочется быстрее - надо шире канал или больше серверов. Поставите десяток серверов спарсите за пару дней.

Банят обычно не за количество запросов вообще - никто не считает сколько вы там за день или за месяц запросов отправили.
Банят за большое количество запросов с одного адреса за малое время.

Answer 3

[bro-dev]

10000000/20000=500
Не о чем цифра, эта страница загружаясь делает 60 запросов. У вас скорее всего баны по другой причине, и эта причина просто фиговые прокси. На паблик проксях я часто замечаю, что они не пускают в русские сайты, а так же русские сайты не пускают с далеких ипшников.

Comments

[Ivan Yakushenko]

Проблема видимо в том, что некоторые прокси могут использоваться сразу несколькими потоками, или несколько раз повторяться, т.к. для прокси у меня общий пул, а потоков много и на данный момент каждый поток берет случайный прокси из общего пула.
Думаю нужно разделить общий пул прокси на равные части для каждого потока и что-бы в каждом потоке не случайно, а поочередно выбирались.