Парсер Яндекса. Что не так?

Question

[magogo]

$options = array(
          CURLOPT_RETURNTRANSFER => true,
          CURLOPT_HEADER         => true,
          CURLOPT_URL            => $url,
          CURLOPT_FOLLOWLOCATION => true,
          CURLOPT_USERAGENT      => "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/54.0.2840.99 Safari/537.36", 
          CURLOPT_AUTOREFERER    => true,
          CURLOPT_CONNECTTIMEOUT => 120,
          CURLOPT_TIMEOUT        => 120,
          CURLOPT_MAXREDIRS      => 10,
          CURLOPT_REFERER        => null,
          CURLOPT_SSL_VERIFYPEER => false,
          CURLOPT_INTERFACE      => $ip,
          CURLOPT_COOKIEJAR      => $_SERVER['DOCUMENT_ROOT'].'/cookie.txt',
          CURLOPT_COOKIEFILE     => $_SERVER['DOCUMENT_ROOT'].'/cookie.txt'
        );

Выводит: В вашем браузере отключены файлы cookies.

Что не так?

Answer 1

[Vitaliy Orlov]

Вангую Яндекс умеет ставить куку JavaScript-ом и потом чекать ее наличие. А тк твой curl не выполняет JS то и кука не ставится. Ну, или вариации по типу, JS-ом скрывается это сообщение и происходит дальнейшая загрузка, а тк JS у тебя не выполняется... ну в общем, идея думаю ясна.

Выход: посмотреть в инструментах разработчика, как происходит загрузка страницы и какие куки устанавливаются после ее открытия. Тот же набор надо воспроизвести в запросе курла.

Вариант попроще использовать Chrome в Headless режиме, т.е. не эмулировать браузер через курл, а использовать полноценный браузер.

Comments

[magogo]

Спасибо за ответ, но а как им пользоваться то?

[FanatPHP]

Это яндекс. он забанит через 10 запросов.

[Vitaliy Orlov]

magogo, там же страница усеяна примерами

use HeadlessChromium\BrowserFactory;
$browserFactory = new BrowserFactory();
$browser = $browserFactory->createBrowser();
$page = $browser->createPage();

// переход на страницу
$page->navigate('https://yandex.ru/search/?text=hello+world')->waitForNavigation();

// получение сгенерированного html
$evaluation = $page->evaluate('document.body.innerText');
$html = $evaluation->getReturnValue();
    
// сохранение скриншота, если надо
$page->screenshot()->saveToFile('hello-world.png');
    
$browser->close();

а дальше как обычно, парсинг html, чем-нибудь типа DiDOM

P.S. Вообще, там можно выполнять произвольный JS в браузере, так что парсить можно прямо в там же и в PHP отдавать уже готовые данные, а не html. Но, тут уж все зависит от того, что ты там именно парсишь.. В общем, смотри примеры, там все есть..

[Vitaliy Orlov]

FanatPHP, переход к Яндекс.XML будет следующим этапом :)

[magogo]

Vitaliy Orlov, Fatal error: Class 'HeadlessChromium\BrowserFactory' not found

[Vitaliy Orlov]

magogo, надо поставить сначала через composer
composer require chrome-php/chrome
а затем вверху файла, подключить его автолойдер
require_once 'vendor/autoload.php';

Ошибка говорит о том, что не может найти указанный класс