Банит при парсинге ( слишком много запросов). Как исправить?

Question

[Dmitriy]

<?php
	require_once('../phpQuery/phpQuery.php');
	require_once('../curl.php');
	require_once('../simple_html_dom.php');



	$curl = new Curl();

	$res = $curl->get('http://www.bestchange.ru/qiwi-to-ripple.html');
	$doc = phpQuery::newDocument($res->body);
	$changes = $doc->find('div#rates_block table#content_table tr');

	foreach ($changes as $change) {
		$pq = pq($change);
  }
?>

Как сделать чтобы не банил сайт при парсинге?
Слишком много запросов.
Паршу обменники с bestchange.ru.
Что значит забанил?
Залил парсер на хостинг.
Паршу и вывожу обменники в виде таблицы.
СНачала все хорошо выводит, а после нескольких минут, ничего не выводит.

Answer 1

[Рональд Макдональд]

Используйте для пачек запросов прокси, например.

Comments

[Dmitriy]

обьсяни пожалуйста за прокси, пожалуйста

[Рональд Макдональд]

dmitriyuvin, для каждого запроса (или группы запросов) используется прокси (подменённый IP-адрес, если в двух словах) и сайт не догадывается, что запросы идут из одного места.
Тут есть немного доп. инфы и ссылок: Какой прокси выбрать для парсинга Авито?

[Дмитрий]

dmitriyuvin, в google забанили?

[Dmitriy]

Дмитрий, этот ресурс для чего?

[Дмитрий]

dmitriyuvin, не надо включать "дурочку"

[Рональд Макдональд]

Дмитрий, чёт вы пришли и начали мошнить, портить всё. Зачем?

[Dmitriy]

Дмитрий, вопрос простой

[Дмитрий]

Рональд Макдональд, что портить, чем портить?
Недовопрос ничем не испортишь.
Где информация о сайте, где код, которым пытается спарсить?
Или просто клянчит готовое решение?

[Ivan Yakushenko]

dmitriyuvin, google - это ресурс для поиска ответов на вопросы. Вы ему вопрос - он вам ответ прям сразу.

[Dmitriy]

Дмитрий, кинул код

[Дмитрий]

dmitriyuvin, ага, после того как Евгений ткнул носом.

[Dmitriy]

Дмитрий, спасибо, хороший модератор

[Дмитрий]

dmitriyuvin, вопросы научитесь хоть мало-мальски задавать.

[Рональд Макдональд]

Дмитрий, вы разжигаете флейм. Почему бы не пройти мимо, тем более, что уже дан ответ?

Это какой-то сюр, Рональд просит куратора не троллить.

[Dmitriy]

Дмитрий, аналогично могу сказать)

[DanKud]

Прокси то прокси, но конкретно для парсинга bestchange про бесплатные общедоступные прокси можно забыть. Они почти все будут в блэклисте. Варианта два. Либо брать подписки на более-менее приличные списки прокси, хотя там тоже многие будут в блэк-листе, либо брать приватные прокси, но тут тоже нюанс, что будут нужны прокси из множества подсетей, потому что они банят по подсети.

[Dmitriy]

DanKud, через браузер Tor говорят можно, слышал что-то об этом?

[DanKud]

dmitriyuvin, а причем здесь Tor и парсинг на PHP? Это вообще никакого отношения друг другу не имеет.

[Dmitriy]

DanKud, Tor сеть не заблокирована bestchange.
Там анонимно как-то работает.
Может так быть?

[Вова]

dmitriyuvin, возможно и там заблокировали - меня лично через tor Вычисляли и банили сразу же...

[DanKud]

dmitriyuvin, я не говорю, что Tor заблокирован или нет, я говорю о том, что он не имеет никакого отношения к вашему вопросу. Tor это просто браузер. Если даже вы будете запускать PHP-скрипт в Tor то IP все-равно будет серверный.

[Ivan Yakushenko]

Рональд Макдональд,

Это какой-то сюр, Рональд просит куратора не троллить.

Сдаёте позиции.

DanKud, и что мешает выгрести из паблик-прокси пачку на ~20к и перед началом парсинга отфильтровать их? Просто, тупо по-очереди пингануть целевой сайт, если не отдает 200 статус - выкинуть прокси.
В самом коде еще можно написать простенький ротатор на несколько строк кода, который на каждый реквест будет давать прокси из списка по-порядку, а использованный заносить в конец очереди.
Можно пойти еще чуть дальше и добавить счетчик, в который заносить бэд-реквесты по каждому прокси и если, к примеру, 3-4 раза прокси не отдал 200 статус - удалить из пула.
Можно пойти еще дальше и написать парсер паблик-прокси, фильтр по хосту и в случае, когда в пуле заканчиваются прокси запускать процесс сбора и пополнения пула "живых" прокси.

И кстати, открою тебе тайну - большая часть всех "приват" прокси - это ровно те-же самые отфильтрованные паблик прокси, только есть какая-то небольшая гарантия, что он не навернется в процессе работы, но с ротатором это не страшно.
И да, если нужна абстрактная гарантия чего-то там, то лучше уже люминати юзать, он хоть просто удобный.

[DanKud]

Ivan Yakushenko, можно много как пытаться фильтровать хоть какое количество паблик-прокси, и даже конечно будет результат, но если сайт будет заморачиваться с тем, чтобы его не парсили, то все эти фильтрации будут слишком ресурсозатратными и малоэффективными, тем более если нужно получать данные постоянно.

И кстати, открою тебе тайну - большая часть всех "приват" прокси - это ровно те-же самые отфильтрованные паблик прокси

Не совсем понял о каких приватных прокси вы ведете речь, но я говорил о реальных приватных прокси с авторизацией.

[Ivan Yakushenko]

DanKud,

но я говорил о реальных приватных прокси с авторизацией

Это те, которые стоят овер дохрена и выдаются поштучно? Какой от них толк? Если у сайта рейт лимит, то нужно много прокси, что-бы его парсить и никакие "приват" прокси никогда в жизни тут не помогут.

но если сайт будет заморачиваться с тем, чтобы его не парсили, то все эти фильтрации будут слишком ресурсозатратными и малоэффективными

На сайте либо есть рейт лимит, либо его нет, или он очень большой. Рейт лимит обходится только с помощью большого кол-ва прокси, все остальные блоки к прокси никакого значения не имеют.

все эти фильтрации будут слишком ресурсозатратными и малоэффективными

Ресурсо-чего? Пропинговать 20к прокси у меня лично занимает около нескольких минут, т.к. обычно я пингую с тайм-аутом в районе 3-4 секунды, на выходе в зависимости от конечного хоста получается 1000-4000 прокси в среднем. На выходе пачка прокси, которая гарантированно работает с конкретным хостом, а покупка прокси - это всегда кот в мешке, т.к. неизвестно кто их юзал за пол часа до вас, не раз натыкался на ситуацию, когда приват прокси уже были блокнуты на разных популярных ресурсах среди парсеров типа елпа.

Answer 2

[Dmitriy]

Добавил CURL.

$ch = curl_init('http://www.bestchange.ru/qiwi-to-zcash.html');
	curl_setopt($ch, CURLOPT_RETURNTRANSFER, true);
	curl_setopt($ch, CURLOPT_FOLLOWLOCATION, true);
	curl_setopt($ch, CURLOPT_PROXY, '188.130.134.13:46546'); // есть список proxy
	curl_setopt($ch, CURLOPT_PROXYTYPE, CURLPROXY_HTTP);
	curl_close($ch);

Answer 3

[Сергей Горностаев]

Как парсить без бана?

Answer 4

[grinat]

Делай через этот сервер https://apify.com/store?type=acts

Answer 5

[Вова]

Напишите что за сайт хотя бы?
и в каком плане банит? может капчу например дает на разгадывание - в этом случае можно использовать сервисы распознавания rucaptcha.
или менять ip если это не помогает...
+ можно уменьшить скорость парсинга - тогда тоже может лучше будет.

Comments

[Dmitriy]

bestchange.ru
Что значит банить?
Перестает выводить данные.
Пробовал sleep задать, но тоже не то.

[Вова]

dmitriyuvin, получается что тут наверно только подмена ip поможет..

[Dmitriy]

Евгений, как это можно сделать?
CURL поможет?

[Вова]

dmitriyuvin, если вы с компьютера парсите - то можно поставить windscribe - мне помогает... как по прокси тут все меняют - сам ума не приложу - у меня только этот способ работает на windows.

Answer 6

[rasschitai]

жесть) ну есть же там апи, который отдает файл zip ... один сказал про прокси, и понеслась ...