Как достать данные о мероприятии из leader-id?

Question

[slon0706]

Мне нужно достать из leader-id.ru данные о времени и месте мероприятия. У leader-id события отображаются на динамических страницах с использованием nuxt.js. Есть ли способ достать данные из исходных файлов или отрендеренной страницы? Желательно, делать это без использования WebDriver.

Answer 1

[Олег]

Открыл исходный код страницы https://leader-id.ru/events
Текстовые данные о датах отображаются в контейнере <div class="app-card-event__date">
Ссылки на страницы в контейнерах

<a href="/events/182694" class="app-card-event__link"> Маркетинговый интенсив </a>

Место мероприятия лежит в контейнере

<div class="app-card-event__location"> Троицк, Точка кипения - Троицк </div>

На PHP поможет функция file_get_contents() или curl.
Дальше парсинг на поиск текста внутри означенных контейнеров с помощью регулярных выражений.
Вместо PHP можно на node.js это проделывать аналогичными методами.

Comments

[slon0706]

Это работает со списком событий, но когда требуется вытащить данные по конкретному событию, возникают проблемы. Страница события генерируется с помощью nuxt. Html разметка не содержит никаких данных.

[Олег]

slon0706, да ладно???
Берём ивент, в котором заполнили описание:
https://leader-id.ru/events/179513
Открываем исходный код страницы view-source:https://leader-id.ru/events/179513 (Firefox)
Выделяем абзац текста

Ctrl+C
Переключаемся на вкладку с ресурсом
Ctrl+F (поиск по странице)
Ctrl+V
И вуаля:

[slon0706]

Олег, данные есть в отрендеренной странице. Но при непосредственном запросе эвента приходит только шаблон страницы. А js заполняет его данными.

[Олег]

slon0706, она (отрендеренная) и поставляется браузерам - надо представиться, как браузер

// пример curl
<?php
$URL='https://leader-id.ru/events/180290';
$ua = 'Mozilla/5.0 (Windows; U; Windows NT 6.1; ru; rv:1.9.2.13) Gecko/20101203 MRA 5.7 (build 03796) Firefox/3.6.13';
$ch = curl_init($URL);
curl_setopt($ch, CURLOPT_HEADER, 1);
curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);
curl_setopt($ch, CURLOPT_USERAGENT, $ua);
curl_setopt($ch, CURLOPT_REFERER, $URL);
curl_setopt($ch, CURLOPT_SSL_VERIFYPEER, FALSE);
curl_setopt($ch, CURLOPT_SSL_VERIFYHOST, 0);
curl_setopt($ch, CURLOPT_COOKIEJAR, 'cookie.txt');
$get=curl_exec($ch);
curl_close($ch);
print_r($get);
?>

[Олег]

slon0706, Оно же?

[slon0706]

Олег, я не увидел, есть ли в разметке данные про дату и время? Если есть - то этого достаточно

[Олег]

slon0706, а это уже получается со страницы https://leader-id.ru/events

[Олег]

Надо будет сканировать /events на наличие ссылок на сам ивент, его название , дату, время и место
А уже на странице ивента забирать описание.

[slon0706]

Олег, Мне нужно найти данные по id события. Мне не нужно собирать данные со всех событий. Следовательно страница /events мне не поможет.

[Олег]

slon0706, извините, в вашем вопросе этого не было.
А в самих ссылках на события не ID указан?
https://leader-id.ru/events/181840
https://leader-id.ru/events/183205

[slon0706]

Олег, Да. Ссылка содержит id. Но в вёрстке страницы мероприятия нет данных о времени и месте.

[Олег]

slon0706, если хотите всё и сразу получать напрямую из базы данных, то, как описано Взаимодействие с БД в nuxt.js?

"Суть в том, что Nuxt должен посылать Ajax запросы к бэкенду сервера (в данном примере на PHP, но вообще не важно на чём), а сервер должен отдавать данные из базы, желательно в формате JSON. "

Вам надо искать в теле js файлов к каким адресам обращаются управляющие скрипты для получения данных.
Код у них обфусцирован и минифицирован, выглядит непритязательно

(window.webpackJsonp=window.webpackJsonp||[]).push([[6],[,,,,,function(e,t,n){"use strict";n.d(t,"k",(function(){return y})),n.d(t,"m",(function(){return _})),n.d(t,"l",(function(){return w})),n.d(t,"e",(function(){return O}))...

Или в ходе выполнения скрипта делать точки останова, когда скрипт делает ajax запрос и смотреть, что функция получает в качестве url
Успехов!