Как спарсить данные о позиции домена по запросу в Яндекс.xml?

Question

[electronikprm]

Всем привет!
Есть скрипт определения позиции сайта по запросу, получается что формирую запрос xml и парсю.
Пытаюсь определить позицию сайта по атрибуту по порядку (может есть какой другой способ, я не знаю)
но почему то всегда происходит ответ "Результаты поиска не найдены", в чём может быть проблема, или может у кого есть более простой скрипт, заранее спасибо) буду благодарен даже за описание как происходит парсинг позиции, если вы знаете конечно

<?php
$user = "login"; // логин Яндекса 
$key = "xml_key"; // xml ключ из https://xml.yandex.ru/settings/ 
$query = "яндекс"; // запрос
$site = "https://ya.ru/"; // сайт который ищем

$url = "https://yandex.ru/search/xml?user=".$user."&key=".$key."&query=".urlencode($query)."&lr=225"; // параметр lr для поиска только по региону 225 - Россия
$xml = simplexml_load_file($url);

$position = 0;
foreach ($xml->response->results->grouping->group as $group) {
    $count = $group->count;
    if ($position <= $count) {
        // искомый сайт находится в этой группе
        foreach ($group->doc as $doc) {
            if ($doc->domain == parse_url($site, PHP_URL_HOST)) {
                $position += 1;
                break 2; // выходим из двух циклов
            }
            $position += 1;
        }
    } else {
        $position += $count;
    }
}
if ($position == 0) {
    echo "Результаты поиска не найдены";
} elseif ($position > 100) {
    echo "Сайт ".$site." не найден в первых 100 результатах поиска по запросу ".$query;
} else {
    echo "Запрос: ".$query."<br>";
    echo "Домен: ".$site."<br>";
    echo "Позиция сайта в поиске: ".$position."<br>";
}
?>

Answer 1

[Hungry_Hunter]

Однозначно на ваш вопрос ответить нельзя.
После строки:
$xml = simplexml_load_file($url);
Напишите:
var_dump($xml);

Таким образом вы увидите что возвращает вам яндекс. Скорее всего там будет ошибка:

Запрос пришёл с IP-адреса, не входящего в список разрешённых для данного пользователя

Скорее всего в настройках https://xml.yandex.ru/settings/ вы не указали IP-адрес, с которого будут совершаться запросы. Также второй вариант, вы указали IP-адрес версии v4, а сервер отправляет запросы с IPv6. В ошибке об этом будет написано, с какого адреса идут запросы. Вам нужно будет указать его в настройках, на указанной выше странице.

Другая причина, на вашем яндекс-аккаунте нет XML-лимитов, которые нужны для совершения запросов к яндексу. В этом случае вы можете воспользоваться сервисами, которые предоставляют такие лимиты.
Например XMLstock.com - стоимость всего 4 рубля за 1000 запросов.

А так в целом скрипт рабочий. Запустил, проверил. позиции определяются.

Comments

[electronikprm]

Вы правы, выдает IPv6 хотя до этого первоначально я делал проверку и выводился IPv4 который я указал и на котором я пытался в дальнейшем наладить скрипт, но проблема в том, что установить IPv6 не дает яндекс, говорит что уже используется на другом аккаунте, видимо у хостера кто то же использует его для этого, буду искать возможности на другом хостинге , спасибо!

[Hungry_Hunter]

electronikprm, не спешите менять хостинг.
Есть два варианта:
1) Настроить на сервере, чтобы использовался IPv4, а не v6. Можно попробовать написать в техподдержку.
2) Использовать CURL для получения запроса от яндекса, и в его настройках можно указать с какой версии IP делать запрос.

[electronikprm]

Hungry_Hunter, можно подробнее про 2й вариант, curl запрос каждый раз должен быть с сервера или это тоже один раз настраивается?

[Hungry_Hunter]

electronikprm, в двух словах не рассказать. Нужно менять код самого крипта. Для получения запросов использовать curl. Вот пример запроса https://snipp.ru/php/curl#get-zapros-s-parametrami

[electronikprm]

Hungry_Hunter, Спасибо, дописал код

$url = "https://yandex.ru/search/xml?user=".$user."&key=".$key."&query=".urlencode($query)."&lr=225";
$ch = curl_init();
curl_setopt($ch, CURLOPT_URL, $url);
curl_setopt($ch, CURLOPT_RETURNTRANSFER, true);
curl_setopt($ch, CURLOPT_IPRESOLVE, CURL_IPRESOLVE_V4); // Установка версии IP
$response = curl_exec($ch);

curl_close($ch);

$xml = simplexml_load_string($response);
var_dump($xml);

Но проблема в том что тот ip который предлагается, тоже занят ))))))))))))

[Hungry_Hunter]

electronikprm, Ну тогда снова два варианта:
1) Искать кто занял этот IP и сбрасывать его в другом яндекс-аккаунте.
2) Использовать прокси, опять же через curl можно подключиться через прокси и делать запрос с другого IP

[electronikprm]

Hungry_Hunter, запустить через прокси у меня не получилось, так как после curl с xml что то происходит и он становится другой и уже парсить не получается ошибка bool(false) в var_dump($xml). Запустил первоначальный свой скрипт на другом сервере, всё работает отлично, прикрепляю код с ip4 с curl если вдруг интересно (платный прокси в подарок) скрипт
Спасибо за помощь)

[electronikprm]

Hungry_Hunter, P.S. переделал через XMLstock.com запрос, работает корректно

$url = "https://xmlstock.com/yandex/xml/?user=".$user."&key=".$key."&query=".urlencode($query)."&groupby=attr%3D%22%22.mode%3Dflat.groups-on-page%3D100.docs-in-group%3D1&lr=255";