Как обойти пустую ноду в SymfonyDomCrawler?

Question

[kafkiansky]

Всем привет. Возникла задача распарсить популярный сайт www.medium.com. Если кто сидел или сидит там, то наверняка замечали, что под каждой статьёй есть количество хлопков. Задача состоит в том, чтобы получить заголовки статей, ссылки на них и количество хлопков под ними для будущей аналитики роста статей. Покопавшись в разметке, я заметил, что теги количества хлопков есть тогда, когда есть само количество. Другими словами, если никто не хлопнул, то там пусто -- нет разметки. Вот тут мой парсер (который, к слову, я пишу при помощи Symfony DomCrawler) и спотыкается.

Вот код:

public function saveData($url)
    {
        $client = new Client();
        $result = $client->request('GET', $url);
        $html = '' . $result->getBody();
        $crawler = new Crawler($html);
        $this->configs = require 'configs.php';
        if (!empty($this)) {
            $this->database = new Database($this->configs['db']);
        }
        if (!empty($crawler)) {
            $crawler->filter('div[class="postArticle postArticle--short js-postArticle js-trackedPost"]')->each(function (Crawler $node, $i) {
                $title = $node->filter('h3')->text();
                $link = $node->filter('a[data-action="open-post"]')->attr('href');
                $star = !empty($rate = $node->filter('button[data-action="show-recommends"]')) ? $rate->text() : 0;
                if (!empty($this->database)) {
                    $this->database->query("INSERT INTO programming (title, link, rate) VALUES (:title, :link, :rate)", [
                       'title' => $title,
                       'link' => $link,
                       'rate' => (int)$star
                    ]);
                }
            });
        }
    }

Я не могу понять, как обработать ноду, если разметки нет. Сейчас выводится ошибка The current node list is empty. Я хочу присвоить рейтинг этой статьи нулю, если разметки нет, что логично. Но не могу понять, как это сделать. Та логика, что сейчас, не работает.

Answer 1

[Vladislav Vlastovskiy]

$node->filter возвращает Crawler, у него есть метод count() который возвращает количество node.
Соответственно, вам после $node->filter(...), надо проверить количество

$recommends = $node->filter('button[data-action="show-recommends"]');
$rate = $recommends->count() ? $recomments->text() : 0;

Comments

[kafkiansky]

Так нет, count() мне вернёт количество статей, только у которых есть хлопки, а мне нужно количество всех статей, даже тех, у которых нет хлопков. Таким образом, для статей, у которых есть хлопки, я запишу реальные значения, а где нет - ноль. Чтобы в будущем видеть динамику роста, я буду сравнивать с прежними значениями, именно поэтому мне нужен ноль там, где хлопков нет.

[kafkiansky]

Грубо говоря, если нет атрибута button[data-action = "show-recommends"], то $rate = 0, иначе берём реальные значения.

[Vladislav Vlastovskiy]

Для $node->filter('button[data-action="show-recommends"]') count() вернет количество найденных Node, если количество равно 0, то Node нет, а соответственно и нет хлопков, иначе читается количество через ->text()

[Vladislav Vlastovskiy]

$recommends = $node->filter('button[data-action="show-recommends"]');
$rate = $recommends->count() ? $recomments->text() : 0;

[kafkiansky]

Да, значения приходят правильные, спасибо. Однако ошибка по-прежнему остаётся. Мне приходится её подавлять через php_ini, в связи с чем у меня появляется ошибка 500.

[Vladislav Vlastovskiy]

не надо ничего подавлять, надо исправлять. Какая ошибка на какой строке

[kafkiansky]

Vladislav Vlastovskiy, такая же, как и раньше

( ! ) Fatal error: Uncaught InvalidArgumentException: The current node list is empty. in C:\OSPanel\domains\ad\vendor\symfony\dom-crawler\Crawler.php on line 565

[Vladislav Vlastovskiy]

Kafkiansky, что находится на 565 строке? Скопируйте эту строку +- 2 строки до и после.

[kafkiansky]

Vladislav Vlastovskiy, это ошибка в файле библиотеки, а не в моем. То есть несмотря на то, что все ноды сохраняются в базе правильно, ошибка остаётся.

[Vladislav Vlastovskiy]

покажите ошибку в файле библиотеки.

мы так долго будем решать проблему:)

[kafkiansky]

Vladislav Vlastovskiy,

public function text()
{
if (!$this->nodes) {
throw new \InvalidArgumentException('The current node list is empty.');
}

return $this->getNode(0)->nodeValue;
}

Этот метод библиотеки, на котором я ловлю ошибку. Если удалить проверку, то ошибка прилетит от базы данных, что column title cannot be null, и при этом записи все равно вставляются.

[Vladislav Vlastovskiy]

Так ошибку у вас вызывает участок кода "$title = $node->filter('h3')->text();", изучайте его, ищите почему на странице нет h3 заголовка, делайте проверку как и в случае с рейтингом.

[kafkiansky]

Vladislav Vlastovskiy, Вот это и странно, потому что статьи без заголовка быть не может, а у неё всегда тег h3. Я проверял.

[kafkiansky]

Vladislav Vlastovskiy, Не доглядел. У одной статьи нет заголовка. Полагаю, следует сделать такую же проверку, как и к с рейтингом, а отсутствующее название заменить просто на заголовок "Статья без названия".

[Vladislav Vlastovskiy]

Kafkiansky, по проверке да, можно сделать такую же проверку как и с рейтингом. По поводу того, на что заменить это уже ваша бизнес задача мы не можем ее обсуждать не зная всего ТЗ:)

P.S. не забудьте ответ пометить как правильный

[kafkiansky]

Vladislav Vlastovskiy, Спасибо вам большое за помощь.