Как парсить выдачу yandex?

Question

[Lomoson]

Раньше в yandex xml результаты совпадали с результатами выдачи, но сейчас на процентов 90% не совпадают. А узнать на какой сайт позиции нужно.
Пробую парсить через CURL, но очень быстро банятся прокси.

$options = array(
					CURLOPT_RETURNTRANSFER => true,
					CURLOPT_HEADER         => true,
					CURLOPT_FOLLOWLOCATION => true,
					CURLOPT_USERAGENT      => getUserAgent(),					
					CURLOPT_AUTOREFERER    => true,
					CURLOPT_CONNECTTIMEOUT => 120,
					CURLOPT_TIMEOUT        => 120,
					CURLOPT_MAXREDIRS      => 10,
					CURLOPT_SSL_VERIFYPEER => false,
					CURLOPT_INTERFACE	   => $ip,
					CURLOPT_COOKIEJAR	   => $user_cookie_file,
					CURLOPT_COOKIEFILE	   => $user_cookie_file
				);

				$url = "http://yandex.ua/yandsearch?rdrnd=653666&text=%D0%96%D0%B8%D1%80%D0%B0%D1%84&lr=143";
				$ch      = curl_init( $url );
				curl_setopt_array( $ch, $options );
				$page = curl_exec( $ch );

Подскажите, пожалуйста, как можно профиксить?

_______________________________________________________

Мегауточнение:

Если lr=225, то все гуд, выдача совпадает, но если lr=187, то все просто ужасно ((

Answer 1

[Евгений Николаев]

Если говорить про разбор HTML кода яндекса и определение позиций, то вот код скрипта на php - https://blog.ivru.net/?id=185

Answer 2

[Александр Аксентьев]

В yandex xml куча настроек, естественно там не будет автоматически таких же как при обычном поиске. Позиция вещь относительная и зависит от пользователя, региона и т.д.
Так что подберите в yandex xml самые подходящие параметры и пользуйтесь им.

Comments

[Lomoson]

Не подбираются параметры в yandex xml, никак хоть проимерно для выбранного региона не совпадает

Answer 3

[Оптимус Пьян]

Подтверждаю, xml от яндекса не работает. Настройки менял (и регион ставил мой), но результат не просто чуть-чуть не совпадает он в xml адски ужасен и не релевантен. Выход - запастись прокси и менять их через каждые 10-20 запросов (именно столько у меня яндекс давал сделать до блокировки). Можете ещё авторизоваться - шансы что успеете сделать больше запросов возрастут.

Comments

[Lomoson]

@Дмитрий А на сколько один прокси банится?

[Оптимус Пьян]

Lomoson: не знаю, я пока в промышленном масштабе не запускал поэтому наблюдения такие не проводил, для себя пока нашёл другое решение через прогу (регион для меня не важен)

Answer 4

[ugodrus]

Сам одно время пробовал парсить результат выдачи яндекса. Поверьте моему опыту - парсить живой (не xml) результат поиска - сломанный костыль. Часто меняются элементы разметки и бан идёт регулярный, хотя я пользовался сокетами и имитировал браузер на 100%. После 2х месяцев геморроя сам прикрыл лавочку.
Мой совет - ковыряйте XML выдачу.

Answer 5

[RJs45]

У меня на yandex xml парсер позиций работает уже полтора года без изменения настроек/кода. Погрешность - до 3-х позиций. Для проекта это не критично.

Comments

[Lomoson]

У меня тоже все идеально работало, но где-то месяца полтора назад все словалось

Answer 6

[Дмитрий]

он вам выдают капчу с проверкой что вы робот ... заполните ее используя сервисы по распознования капчей ... 20-30 рублей за 1к капчей ....