Как дать понять что включен js и как представиться роботом при парсинге страницы?

Question

[Имя Фамилия]

Пытаюсь спарсить содержимое таким способом:

$url = "https://site.com/url";
$ch = curl_init();
curl_setopt($ch, CURLOPT_AUTOREFERER, TRUE);
curl_setopt($ch, CURLOPT_HEADER, 0);
curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);
curl_setopt($ch, CURLOPT_URL, $url);
curl_setopt($ch, CURLOPT_FOLLOWLOCATION, TRUE);  
curl_setopt($ch, CURLOPT_SSL_VERIFYHOST, 3);     
curl_setopt($ch, CURLOPT_SSL_VERIFYPEER, FALSE);
$html = curl_exec($ch);
curl_close($ch);

echo $html;

в ответ приходит: Please enable JS

как дать понять js включен
и можно ли представиться роботом yandex например чтобы эту проблему устранить?

Answer 1

[Надим]

Попробуйте указать те же заголовки, что отсылал бы реальный браузер.

Пример:

<?php

// Указываем тип документа и кодировку:
header('Content-Type: text/html; charset=utf-8');

// Включаем отображение ошибок:

ini_set('error_reporting', E_ALL);
ini_set('display_errors', 1);
ini_set('display_startup_errors', 1);

// Адрес для парсинга:
$url = 'https://yousite.com';

// Создаём новый сеанс:
$curl = curl_init();

// Указываем адрес целевой страницы:
curl_setopt($curl, CURLOPT_URL, $url);

// О отключаем проверку SSL сертификата:
curl_setopt($curl, CURLOPT_SSL_VERIFYPEER, 0);
curl_setopt($curl, CURLOPT_SSL_VERIFYHOST, 0);

// Устанавливаем заголовки для имитации браузера:

$headers = [];
$headers[] = 'Accept: text/html,application/xhtml+xml,application/xml;q=0.9,image/avif,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3;q=0.9';
$headers[] = 'Accept-Encoding: identity';
$headers[] = 'Accept-Language: ru-RU,ru;q=0.9,en-US;q=0.8,en;q=0.7';
$headers[] = 'Cache-Control: no-cache';
$headers[] = 'Connection: keep-alive';
$headers[] = 'Host: ' . parse_url($url)['host'];
$headers[] = 'Pragma: no-cache';
$headers[] = 'Sec-Fetch-Dest: document';
$headers[] = 'Sec-Fetch-Mode: navigate';
$headers[] = 'Sec-Fetch-Site: none';
$headers[] = 'Sec-Fetch-User: ?1';
$headers[] = 'Upgrade-Insecure-Requests: 1';
$headers[] = 'User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/86.0.4240.193 Safari/537.36';


curl_setopt($curl, CURLOPT_HTTPHEADER, $headers);

// Разрешаем переадресацию:
curl_setopt($curl, CURLOPT_FOLLOWLOCATION, 1);

// Запрещаем прямяой вывод результата запроса:
curl_setopt($curl, CURLOPT_RETURNTRANSFER, 1);

// Делаем сам запрос:
$result = curl_exec($curl);

// Завершаем сеанс:
curl_close($curl);

// Смотрим результат:
echo $result;

Если метод не помогает, напишите ссылку на сайт, возможно подскажу что.

Comments

[Имя Фамилия]

Большое тебе СПАСИБО. Удачи тебе много. Работает!

[Имя Фамилия]

Всё, нашел Ваш сайт. Спасибо, буду знать.

[Имя Фамилия]

Понимаю, что вы не обязан мне помогать. Может подскажите для сайта znanija.com

Если до парсинга открыть через код, который вы указали выше, то страница откроется, но как только запускаю цикл сразу сообщение Please enable JS and disable any ad blocker

Пытаюсь парсить вот так:

//соеденяемся с базой
include "/functions.php";   
$db = connectdb();

$i = 40745509;
while ($i <= 40745909) {

$url = 'https://znanija.com/task/'.$i;

// Создаём новый сеанс:
$curl = curl_init();
curl_setopt($curl, CURLOPT_URL, $url);
curl_setopt($curl, CURLOPT_SSL_VERIFYPEER, 0);
curl_setopt($curl, CURLOPT_SSL_VERIFYHOST, 0);
$headers = [];
$headers[] = 'Accept: text/html,application/xhtml+xml,application/xml;q=0.9,image/avif,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3;q=0.9';
$headers[] = 'Accept-Encoding: identity';
$headers[] = 'Accept-Language: ru-RU,ru;q=0.9,en-US;q=0.8,en;q=0.7';
$headers[] = 'Cache-Control: no-cache';
$headers[] = 'Connection: keep-alive';
$headers[] = 'Host: '.parse_url($url)['host'];
$headers[] = 'Pragma: no-cache';
$headers[] = 'Sec-Fetch-Dest: document';
$headers[] = 'Sec-Fetch-Mode: navigate';
$headers[] = 'Sec-Fetch-Site: none';
$headers[] = 'Sec-Fetch-User: ?1';
$headers[] = 'Upgrade-Insecure-Requests: 1';
$headers[] = 'User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/86.0.4240.193 Safari/537.36';
curl_setopt($curl, CURLOPT_HTTPHEADER, $headers);
curl_setopt($curl, CURLOPT_FOLLOWLOCATION, 1);
curl_setopt($curl, CURLOPT_RETURNTRANSFER, 1);

$result = curl_exec($curl);
curl_close($curl);

preg_match('/<h1 data-test="question-box-text">(.*?)<\/h1>/si', $result, $matches);
preg_match('/<div class="brn-qpage-next-answer-box-content__section">(.*?)<\/div>/si', $result, $patches);


if (strlen($matches[1]) > 32 && strlen($patches[1]) > 104) {
$db->query("INSERT INTO `vii_blogs` (title,full_text) VALUES ('$matches[1]','$patches[1]')");
}
$i++;
$s = $i / 3;	
if (is_integer($s)) {sleep(3);}	
}

скажите пожалуйста есть ли вариант, наладить парсер для данной задачи.

[Надим]

User782, когда вы в первый раз заходите на этот сайт с какого-то IP адреса, то страница отдается вам без проблем НО при этом вместе с ответом сайт устанавливает на вашей стороне куки:


Если в следующих ваших запросах с этого IP-адреса установленные ранее куки отсутствуют, то разумеется сайт будет вас банить и выводить заглушку. Решить проблему можно следующими способами:

1. Запоминать куки при первом запросе и в дальнейшем отдавать их, чтобы имитировать браузер
2. Делать паузы между запросами, при достаточной длинне пауз можно даже куки не отдавать, но парсинг тогда будет медленный, лучше комбинировать этот метод с первым, т. е. отдавать куки + делать паузу в одну секунду между запросами
3. Использовать для пасринга прокси, утилита cURL позволяет из коробки делать запросы через прокси

Если нужна максимально возможная скорость парсинга, то нужно и вовсе комбинировать все три способа.

[Имя Фамилия]

Надим Закиров, этот момент понял. А как получить куки, которые с первого захода присваиваются. Я запуская файл pars.php на хостинге. А там нет браузера, чтобы первый раз полноценно зайти.

[Надим]

User782, куки приходят в заголовках ответа, библиотека cURL умеет их показывать, реальный браузер тут не нужен. Там есть специальный параметр который включает отображение заголовков. Пишу с телефона, пример привести не могу. Я могу позже помочь вам с парсингом, но платно, так как надо потратить время на составление кода под ваш сайт.

[Имя Фамилия]

Надим Закиров, куда вам можно написать, чтобы примерно цену узнать?

[Надим]

User782, в профиле есть ссылка на мой ВКонтакте.

Answer 2

[Антон Шаманов]

посмотри ajax запросы страницы в браузере, скорее всего cookie не хватает