Как получить данные парсером php?

Question

[nikita_falcon]

библиотека simple_html_dom.php
возвращает пустой массив, хотя такой элемент есть

$headers = array(
    'cache-control: max-age=0',
    'upgrade-insecure-requests: 1',
    'user-agent: Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/78.0.3904.97 Safari/537.36',
    'sec-fetch-user: ?1',
    'accept: text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3',
    'x-compress: null',
    'sec-fetch-site: none',
    'sec-fetch-mode: navigate',
    'accept-encoding: deflate, br',
    'accept-language: ru-RU,ru;q=0.9,en-US;q=0.8,en;q=0.7',
);
 
$ch = curl_init('https://kst.by/noutbuki');
curl_setopt($ch, CURLOPT_COOKIEFILE, __DIR__ . '/cookie.txt');
curl_setopt($ch, CURLOPT_COOKIEJAR, __DIR__ . '/cookie.txt');
curl_setopt($ch, CURLOPT_HTTPHEADER, $headers);
curl_setopt($ch, CURLOPT_RETURNTRANSFER, true);
curl_setopt($ch, CURLOPT_SSL_VERIFYPEER, false);
curl_setopt($ch, CURLOPT_HEADER, true);
$html = curl_exec($ch);
curl_close($ch);

$dom = new simple_html_dom();

$dom = str_get_html($html);

$element = $dom->find( '.products-block' ); // возвращает пустой массив, хотя такой элемент есть

<div class="products-block">

Comments

[Дмитрий]

$html не пустой?

[nikita_falcon]

Дмитрий, не пустой

[komb]

A var_dump($dom) что показывает?

[nikita_falcon]

komb, показывал весь сайт, который нужно было парсить, но я уже сделал, через другую либу

Answer 1

[nikita_falcon]

В общем сделал через библиотеку phpQuery
ошибка была в том что нужен был парсер для Bitrix и там нету поддержки file_get_content

function testAgent()
{
$headers = array(
    'cache-control: max-age=0',
    'upgrade-insecure-requests: 1',
    'user-agent: Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/78.0.3904.97 Safari/537.36',
    'sec-fetch-user: ?1',
    'accept: text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3',
    'x-compress: null',
    'sec-fetch-site: none',
    'sec-fetch-mode: navigate',
    'accept-encoding: deflate, br',
    'accept-language: ru-RU,ru;q=0.9,en-US;q=0.8,en;q=0.7',
);
 
$ch = curl_init('нужный сайт');
curl_setopt($ch, CURLOPT_COOKIEFILE, __DIR__ . '/cookie.txt');
curl_setopt($ch, CURLOPT_COOKIEJAR, __DIR__ . '/cookie.txt');
curl_setopt($ch, CURLOPT_HTTPHEADER, $headers);
curl_setopt($ch, CURLOPT_RETURNTRANSFER, true);
curl_setopt($ch, CURLOPT_SSL_VERIFYPEER, false);
curl_setopt($ch, CURLOPT_HEADER, true);
$html = curl_exec($ch);
curl_close($ch);
$doc = phpQuery::newDocument($html);
foreach($doc->find(".нужный класс") as $article){

Answer 2

[alekseyHunter]

Он может генерироваться JS динамически, поэтому в дереве может отсутствовать.

Comments

[nikita_falcon]

нет, не находит нужный мне элемент, я потом пытаюсь вывести vardump