PHP Simple HTML DOM Parser. Почему не могу получить элемент?

Question

[Игорь]

Доброго времени суток!
Первый раз пишу парсер.
Нужно пропарсить вот такую Страничку масел, а точней информацию которая находится в таблице.
Погуглил, решил воспользоватся парсером PHP Simple HTML DOM Parser.
Частично получилось. Не могу понять, только как мне получить элементы которые указаны на скриншоте:

Мой код:

<?php
include 'simple_html_dom.php';

$link = 'http://lubematch.shell.com/ru/ru/equipment/100_2_8i_avant_001755';

   $data = file_get_html($link);

   $result = array();

        foreach($data->find('td.application') as $a){

          $result['application'][] =  $a->plaintext;

        }

        foreach($data->find('td.recommendation') as $a){

            $result['recommendation'][] =  $a->plaintext;
        }

        foreach($data->find('td.capacity') as $a){

            $result['capacity'][] =  $a->plaintext;
        }

    

   echo "<pre>";
    print_r($result);
  echo "</pre>";
?>

Ответ получаю:

Array
(
    [application] => Array
        (
            [0] => Двигатель (Б (бензиновый))
            [1] => Механическая трансмиссия
            [2] => Автоматическая трансмиссия
            [3] => Дифференциал
            [4] => Охлаждающая жидкость
            [5] => Модели с автотрансмиссией, дифференциал
            [6] => Тормозная жидкость
            [7] => Колесные подшипники
            [8] => Усилитель рулевого управления
        )

    [recommendation] => Array
        (
            [0] =>              Helix Ultra 0W-40                                     
            [1] =>              Refer To Owners Handbook                                     
            [2] =>              Spirax S2 ATF AX                                     
            [3] =>              От коробки передач                                     
            [4] =>              Refer To Owners Handbook                                     
            [5] =>              Spirax S5 ATE 75W-90                                     
            [6] =>              Refer To Technical                                     
            [7] =>              Gadus S3 V220C 2                                     
            [8] =>                                        (b)           
        )

    [capacity] => Array
        (
            [0] =>              5.0                        
            [1] =>                           (a)           
            [2] =>                           (a)           
            [3] =>                                      
            [4] =>              11.0                        
            [5] =>              1.0                        
            [6] =>                                      
            [7] =>                                      
            [8] =>                                      
        )

)

Заранее буду благодарен за помощь.

Answer 1

[Алексей Сундуков]

Use XPath, Luke.

<?php

// [1- Скачиваем файл
// Создаем поток
$opts = array(
	'http' => array(
		'method'  => 'GET',
		'timeout' => 10,
	),
);

$context = stream_context_create($opts);

// Открываем файл с помощью установленных выше HTTP-заголовков
$page_content = file_get_contents('http://lubematch.shell.com/ru/ru/equipment/100_2_8i_avant_001755', false, $context);
// -1]

// [2- Парсим данные
// [3- Строим DOM
// по сути - отключаем вывод ошибок валидации
libxml_use_internal_errors(true);
$page_dom = new \DOMDocument();

$page_dom->strictErrorChecking = false;
$page_dom->preserveWhiteSpace  = false;
$page_dom->validateOnParse     = true;

$page_dom = new \DOMDocument();

// [4- loadHTML не дает использовать utf-8, делаем хаком http://php.net/manual/en/domdocument.loadhtml.php#95251
$page_dom->loadHTML('<?xml encoding="UTF-8">' . $page_content);

foreach ($page_dom->childNodes as $node) {
	if ($node->nodeType == XML_PI_NODE) {
		$page_dom->removeChild($node);
	}
}
$page_dom->encoding = 'UTF-8';
// -4]

$page_xpath = new \DOMXPath($page_dom);
// -3]

// Вытаскиваем Standard
$param_1 = $page_xpath->query('//table[@id="recommendation"]//tr[2]/th')->item(0)->nodeValue;
// Вытаскиваем Spirax S4 ATF HDX
$param_2 = $page_xpath->query('//table[@id="recommendation"]//tr[5]/td[1]')->item(0)->nodeValue;
// -2]

var_dump($param_1, $param_2);

Comments

[Игорь]

@alekciy Спасибо за ответ, получилось. Если не трудно, можете объяснить этот участок кода?
//table[@id="recommendation"]//tr[5]/td[1]

[Игорь]

@alekciy Разобрался вроде.
Находит таблицу с id recommendation
Выбирает 5 строку, первую ячейку.

[Алексей Сундуков]

@GansikUA в контексте XPath правильнее говорить о позиции в наборе узлов.

1) // (это сокращенный синтаксис, полностью ось записывается как descendant:: ) это "все потомки узла контекста", т.е. как прямые потомки, так и потомки потомков, поскольку узел текста не задан, то по умолчанию им становиться html.
2) table[@id="recommendation"] получить набор узлов связанных со всеми table, но выбрать только те, атрибут id которых равен recommendation, поскольку на странице может быть только один элемент с уникальным id, то получили набор узлов состоящий из одного узла, этот узел является контекстом для следующих шагов адресации.
3) //tr[5] (это сокращенный вид записи, полный такой descendant::tr[position=5] "среди всех потомков table найти узел элемента tr позиция которого в наборе равна 5-ти", на этом шаге адресации мы получили набор узлов состоящий из одного узла, этот узел связан с 5-ым элементом tr он и будет является контекстом для следующего шага адресации.
4) td[1] (child::td[position=1]) "среди всех непосредственных потомков узла контекста найти связанные с элементами td, оставить из этого набора первый".

Общая схема такая: оси задают где ищем (среди потомков, среди всех потомков, среди соседей и т.д.), условия задают что ищем (все узлы, узлы связанные с элементом с именем ХХ, предикаты задают условия фильтрации получившегося набора (их может быть несколько).

[Игорь]

@alekciy Огромное Вам спасибо, за объяснение. Теперь более понятно. Будем учится :-)

[Алексей Сундуков]

@GansikUA вообще для парсинга крайне рекомендую использовать XPath и только XPath. Он великолепен! Позволяет составлять очень навороченные правила (в духе, "найти соседа третьего потомка элемента в классе которого содержится подстрока item"), но которые писать очень просто и легко, при этом если правильно писать выражения, то парсер не развалиться даже если на странице изменится верстка.

[Игорь]

@alekciy а подскажите еще, как быть, когда на некоторых страницах нету данных ячеек? lubematch.shell.com/ru/ru/equipment/yaris_l_yaris_...

Я в ответ в таком случае получаю, совсем не то, что мне нужно.

[Алексей Сундуков]

@GansikUA если нужно получить Standart, а его нет, то код упадет с ошибкой тут ->item(0). Решается if-ом и проверкой на length полученного набора узлов.

[Игорь]

@alekciy еще раз спасибо, добрый человек. Получилось.
Тут еще как оказалось, прямо в инструментах разработчика хрома, можно скопировать условия XPath ))) вообще супер.

[Алексей Сундуков]

@GansikUA его можно скопировать и в фаербаге и вообще в любом адекватном инструменте. На практике устойчивых парсеров от этих готовых выражений толку мало, хотя на них можно бывает ориентироваться.

[Александр Ковалев]

Алексей, большое спасибо!
Несколько дней потратил на simple_php_dom, но наткнулся на ваш ответ, и теперь я использую xpath и у меня все работает ).

[Алексей Сундуков]

Александр Ковалев, пожалуйста!
Если кто-то еще попадет в этот тред в будущем, то вот видео объясняющее базовые принципы XPath: https://youtu.be/id_MNxmdRvk

Answer 2

[Igor Deyashkin]

Если посмотреть исходный код странички - станет ясно, почему отмеченный текст не попадает в выборку.
Например, ты ищешь td с классом recommendation, но не все td в третьем столбце имеют этот класс. Например тут <td>Spirax S4 ATF HDX</td> этого класса нет. Так же ты вообще не берешь данные из столбца, в котором лежат заголовки <th class="tiername tiername">Standard</th>, откуда же им у тебя взяться? =)

Я бы на твоем месте по какому-нибудь другому принципу парсил. Какую структуру ты в итоге хочешь получить?

Comments

[Игорь]

Да все верно, заголовки (стандарт, премиум) мне не интересны.
Вот я как раз, не могу понять как спарсить эти ячейки Spirax S4 ATF HDX без каких либо признаков, нету не класса, не идентификатора.