Как спарсить информацию за скрывающимся элементом?

Question

[Александр Андропов]

Доброго времени суток.
С помощью cURL получается спарсить только первые 5 элементов на сайте, остальные элементы закрыты под кнопкой "Показать всё".


Пытаюсь спарсить информацию с Яндекса https://yandex.ru/web-maps/covid19 слева во фрейме информацию.

Подскажите пожалуйста, как можно спарсить информацию, которая закрыта и для её появления нужно нажать на элемент ?

Answer 1

[Rsa97]

Найдите в исходном файле script с классом config-view.
Внутри него JSON со всеми данными.
Вам нужны элементы ['covidData']['items'].

Comments

[Александр Андропов]

Спасибо. Как можно его быстро найти ? открыть консоль разработчика и во вкладке XHR каждый файл перебирать по поиску или можно как-то быстрее это сделать ?

[Rsa97]

Александр Андропов, Этот скрипт в основном HTML-файле находится.

[Александр Андропов]

Rsa97, как правильно получить эти данные ? Регулярным выражением забрать массив covidData ? или как отправить запрос, чтобы получить только этот массив данных, подскажите пожалуйста.

Спасибо.

[Rsa97]

Александр Андропов, Я бы через DOM работал, например через PHP Simple HTML DOM Parser.

$html = new simple_html_dom();
$html->load_file('https://yandex.ru/web-maps/covid19');
$json = $html->find('script.config-view', 0)->innertext;
$data = json_decode($json, true);
$russian = array_filter(
    $data['covidData']['items'],
    function ($el) {
        return isset($el['ru']) && $el['ru'];
    }
);
print_r($russian);

// Array (
//     [181] => Array (
//             [name] => Алтайский край
//             [ru] => 1
//             [cases] => 621
//             [cured] => 164
//             [deaths] => 3
//   ...