Как спарсить div со страницы?

Question

[andreystrelkov]

Добрый вечер, пытаюсь спарсить основной текст новости со страницы сайта lenta.ru
не выходит, что я не так делаю

$html = file_get_contents('https://lenta.ru/news/2016/06/02/trol/');
if (preg_match('#<span class="b-text">(\d+?)</span>#', $html, $matches)) {
  $price = $matches[1]; 
}
echo $price;

Answer 1

[Егор Неведов]

$matches[0] ?

ну да, и, если парсить основной текст, \d+? - это не текст вовсе

Comments

[Immortal_pony]

Егор Неведов, в случае, если на странице будет необходимый текст, то в данную переменную попадет весь текст вместе с разметкой, если не будет текста, то будет false. И то и другое бесполезно в контексте решаемой задачи.

[Егор Неведов]

ну, в этом вы правы, и особенно про RSS в данном случае.
Но разметку можно отфильтровать при желании, а если изменится разметка и не будет текста, как поможет ваша библиотека? Это просто вопрос, у меня не такой большой опыт парсинга и регулярки как-то кажутся более оптимальными по скорости.

[Immortal_pony]

Егор Неведов, Не совсем понял вопрос. В RSS разметка не изменится.

[Егор Неведов]

Immortal_pony Я про случай когда нет RSS, конечно.

[Immortal_pony]

Егор Неведов, в этом случае использование SimpleXML для работы с DOM на мой взгляд предпочтительнее, нежели попытка разбора регулярными выражениями. При изменении разметки и тот и другой способ скорее всего дадут сбой.

[Егор Неведов]

Immortal_pony Я как раз этим и интересуюсь - почему предпочтительнее. Ведь наверняка решение будет медленнее, чем простая регулярка, вряд ли надёжнее, и к тому же изучать и внедрять лишний код? В чём профит?

[Immortal_pony]

Егор Неведов, stackoverflow.com/a/1732454/4287929

[Егор Неведов]

Immortal_pony, Юморной пост) да конкретики нету. Судя также по посту под ним, я так понял, что библиотеки нужны для какого-то более универсального решения (например когда сайтов с разной разметкой сотни, и нужно по DOM пробежаться и определить, где вообще контент, а где что, цена там или ещё что-то), а в остальных случаях, когда есть заданные 1-10 сайтов с относительно постоянной разметкой - регулярки вполне хороший и быстрый выход.

[Immortal_pony]

Егор Неведов, в регулярных выражениях слишком легко допустить ошибку, их тяжело читать, зачастую сложно расширить. Что касается скорости - так они тоже не образец производительности. Потому использовать их без крайней необходимости в тех местах, где есть специализированные инструменты, я считаю нецелесообразным.

[Егор Неведов]

Immortal_pony субъективно, не соглашусь. Когда-то посвятил пару дней их изучению и практике, с тех пор мне кажется что проще ничего не придумать, использую постоянно в редакторе для форматирования всяких дампов и проч. Что касается скорости - но тогда что тот самый образец? Задача построить целиком всю DOM мне кажется на порядок как минимум затратнее будет по ресурсам и по скорости. Компенсируется ли это скоростью поиска?
Было бы интересно посмотреть какое-нибудь тестирование в реальном мире.

Answer 2

[Immortal_pony]

Во-первых, у Ленты есть RSS, привязываться к верстке нежелательно:

На момент запуска нового сайта доступны следующие RSS:

/rss/news — новости
/rss/top7 — самые свежие и самые важные новости
/rss/last24 — главные новости за последние сутки
/rss/articles — все статьи
/rss/columns — колонки
/rss/news/russia — новости рубрики «Россия»; после косой черты можно написать английское название любой рубрики — обращайте внимание на их url (например, /rss/news/world — это уже все новости рубрики «Мир»)
/rss/articles/russia — все статьи рубрики «Россия»; управление рубриками аналогичное
/rss/photo — все галереи
/rss/photo/russia — все галереи рубрики «Россия»; управление рубриками аналогичное

Во-вторых, что касается парсинга XML, то регулярные выражения для этого использовать также не лучшая идея. Их вообще лучше никогда не использовать при возможности. Распарсить XML можно с помощью SimpleXML или Nokogiri. И конкретно для RSS есть несколько библиотек.

Пример:

libxml_use_internal_errors(true); // Не провоцировать генерацию ошибок в php из-за ошибок разбора html 

$html = file_get_contents("https://lenta.ru/news/2016/06/02/trol/");
$page = new domDocument();
$page->loadHTML("<?xml version='1.0' encoding='UTF-8'?>" . $html); // Явное указание кодировки полученных данных

$article = "";
$domXpath = new DOMXPath($page);
$newDom = new DOMDocument();
$newDom->formatOutput = true;

$filtered = $domXpath->query("//div[@itemprop='articleBody']");
$i = 0;
while ($item = $filtered->item($i++)) {
    $node = $newDom->importNode($item, true);
    $newDom->appendChild($node);
}

$article = $newDom->saveHTML();
libxml_clear_errors(); // Очищение буфера ошибок.

Comments

[andreystrelkov]

RSS я так сказать распарсил, выдрал всё необходимое, а именно самое главное - ссылку на полный материал, мне теперь нужно полную версию новости а не краткую как в RSS

[Immortal_pony]

andreystrelkov,
1. Почему переменная называется $price?
2. Почему на странице ищется span с классом "b-text"? Я проверил - на указанной странице нет таких элементов. Есть div с классом "b-text", но у него есть куда более интересный атрибут "itemprop" значение у которого "articleBody", что скорее всего и является искомым.
3. Что за символы "#" в регулярном выражении? Почему во внутреннем условии ищутся цифры?

В общем, если нужен текст статьи, то его легко получить указанным мною способом, а если необходимо что-то еще, то сформулируйте, пожалуйста, вопрос корректно:

$html = file_get_contents("https://lenta.ru/news/2016/06/02/trol/");
$page = new domDocument();
$page->loadHTML($html);	

$article = "";
$domXpath = new DOMXPath($page);
$newDom = new DOMDocument();
$newDom->formatOutput = true;

$filtered = $domXpath->query("//div[@itemprop='articleBody']");
$i = 0;
while ($item = $filtered->item($i++)) {
    $node = $newDom->importNode($item, true);
    $newDom->appendChild($node);
}

$article = $newDom->saveHTML();

Answer 3

[LBC]

Советую взять что-нибудь на подобии этого: simplehtmldom.sourceforge.net