@dmitriyuvin

Банит при парсинге ( слишком много запросов). Как исправить?

<?php
	require_once('../phpQuery/phpQuery.php');
	require_once('../curl.php');
	require_once('../simple_html_dom.php');



	$curl = new Curl();

	$res = $curl->get('http://www.bestchange.ru/qiwi-to-ripple.html');
	$doc = phpQuery::newDocument($res->body);
	$changes = $doc->find('div#rates_block table#content_table tr');

	foreach ($changes as $change) {
		$pq = pq($change);
  }
?>
Как сделать чтобы не банил сайт при парсинге?
Слишком много запросов.
Паршу обменники с bestchange.ru.
Что значит забанил?
Залил парсер на хостинг.
Паршу и вывожу обменники в виде таблицы.
СНачала все хорошо выводит, а после нескольких минут, ничего не выводит.
  • Вопрос задан
  • 376 просмотров
Пригласить эксперта
Ответы на вопрос 7
Zoominger
@Zoominger
System Engineer
Используйте для пачек запросов прокси, например.
Ответ написан
@dmitriyuvin Автор вопроса
Добавил CURL.
$ch = curl_init('http://www.bestchange.ru/qiwi-to-zcash.html');
	curl_setopt($ch, CURLOPT_RETURNTRANSFER, true);
	curl_setopt($ch, CURLOPT_FOLLOWLOCATION, true);
	curl_setopt($ch, CURLOPT_PROXY, '188.130.134.13:46546'); // есть список proxy
	curl_setopt($ch, CURLOPT_PROXYTYPE, CURLPROXY_HTTP);
	curl_close($ch);
Ответ написан
@d-sem
Использовать пул прокси серверов, разносить парсинг во времени через очереди или крон, использовать headless браузер (puppeteer, например).

А лучше все вместе.
Ответ написан
@bratok191
Напишите что за сайт хотя бы?
и в каком плане банит? может капчу например дает на разгадывание - в этом случае можно использовать сервисы распознавания rucaptcha.
или менять ip если это не помогает...
+ можно уменьшить скорость парсинга - тогда тоже может лучше будет.
Ответ написан
rasschitai
@rasschitai
Калькуляторы онлайн
жесть) ну есть же там апи, который отдает файл zip ... один сказал про прокси, и понеслась ...
5e7720f5e9921816245926.png
Ответ написан
Ваш ответ на вопрос

Войдите, чтобы написать ответ

Войти через центр авторизации
Похожие вопросы
Spice IT Recruitment Москва
До 230 000 ₽
ImageSpark Санкт-Петербург
от 60 000 ₽
FrozenEon Киев
от 1 500 до 3 000 $
04 июн. 2020, в 03:14
1000 руб./за проект
04 июн. 2020, в 00:28
20000 руб./за проект
03 июн. 2020, в 23:41
75000 руб./за проект