Как получить данные с сайта с динамическим js?

Question

[Suxoi]

Есть сайт без статитики HTML, через Charles просмотрел поэтапно загрузки страниц

1. Шаг get запрос на сайт в Headers передается куча Cookie и такой заголовк :path /glass.qqsyzsca.js , ответ получаю
x-ju: /glass.qqsyzsca.js?PID=469F0452-18FF-3E05-8072-566D9785BE96
x-uid: 35D1D4CF-FEF0-3C11-A328-C2C082899783
x-ah: rbybeswcvavfrqx
cf-ray: 2ecfc9ac9eca0485-FRA
content-type: text/javascript
И в тексте функцию JS с выполнением какого-то кода

2. После со скрипта glass.qqsyzsca.js идет POST запрос на /getSiteNotificationsAjax.htm , в заголовке передается какой то текст в функцию JS

3. Затем посылается GET на /static/js/gd-emp-photos-lightbox.js , в ответ в заголовке
vary: Accept-Encoding
p3p: CP="IDC DSP COR ADM DEVi TAIi PSA PSD IVAi IVDi CONi HIS OUR IND CNT"
x-disti-cs: BYPASS
а также в текст с функцией

4. Дальше POST запрос на /glass.tybcxseuyawxcabfft.js?PID=469F0452-18FF-3E05-8072-566D9785BE96
HEADERS Request вот какой то загадочный
x-distil-ajax: dbtuytexwtyrsaubdadae
и куча cookie

После чего через какое то время, посылается запрос HEAD path:/glass.vzutzyfyfctqsdtacbf.js?PID=469F0452-18FF-3E05-8072-566D9785BE96, где *.js меняется, в HEADERS приходят ответы
x-ju: /glass.vzutzyfyfctqsdtacbf.js?PID=469F0452-18FF-3E05-8072-566D9785BE96
x-uid: 35D1D4CF-FEF0-3C11-A328-C2C082899783
x-ah: dyzuawtv
vary: Accept-Encoding

Кто сталкивался с таким?Обычными методами curla и Phantom JS не вытащил данные, что за загадочное ПО x-distil?

Comments

[OVK2015]

Посмотреть внимательно на исходящие заголовки. Есть вероятность, что на каком-то из этапов клиентский js формирует доп. данные(на основе ранее полученных) для след. http запросов. Куча таких "хитрых" сайтов

[Suxoi]

OVK2015 Что-то похожее, но на этапе когда через x-distil-ajax передается зашифорованный текст, если его декодировать, присутсвует функция выполняющая какую-то проверку и отдающая данные, она там же useragent просматривает

[OVK2015]

Suxoi: Хотел на это чудо глянуть
https://www.glassdoor.com/Overview/Working-at-Gazp...
В ответ: Sorry, we can't find that page.
Видать тостер форматированием сломал ссылку

[Suxoi]

OVK2015 www.glassdoor.com/Overview/Working-at-Gazprom-EI_IE6457.11,18.htm

[Suxoi]

Нашел,эту загадочную компанию, которая предоставляет защиту,теперь нужно ознакомится как они работают
www.distilnetworks.com/web-scraping

[OVK2015]

Suxoi: А забрать оттуда что хотите-то?

[Suxoi]

OVK2015 Все данные, типа Website, Size, Revenue и т.п, все что есть о компании

[OVK2015]

Не заморачивайтесь со всеми этими www.distilnetworks.com/web-scraping. Он 1-ым же запросом отдает всю нужную вам инфу. Просто повытягивать их из ответа

function getRemoteData($url)
	{
		$userAgent = "Mozilla/5.0 (Windows NT 5.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/45.0.2414.0 Safari/537.36";
		$cURLsession = curl_init();

		curl_setopt($cURLsession, CURLOPT_URL, $url);
		curl_setopt($cURLsession, CURLOPT_SSL_VERIFYPEER, false);
		curl_setopt($cURLsession, CURLOPT_RETURNTRANSFER, true);
		curl_setopt($cURLsession, CURLOPT_USERAGENT, $userAgent);
		curl_setopt($cURLsession, CURLOPT_FOLLOWLOCATION, true);
		curl_setopt($cURLsession, CURLOPT_CONNECTTIMEOUT, 30);

		if(($curlResult = curl_exec($cURLsession)) === false)
		{
			die("Что-то не так: ".curl_error($cURLsession)." с ".$url);
		}

		curl_close($cURLsession);

		return $curlResult;
	}

	$url = "https://www.glassdoor.com/Overview/Working-at-Gazprom-EI_IE6457.11,18.htm";
	file_put_contents(__DIR__."/Gazprom.txt", getRemoteData($url));
	echo "Отработали";

[Suxoi]

OVK2015 Все круто, но на 3 же запросе мне капчу выкинуло, там все же защита от ботов стоит, попробуйте в цикле хотя бы 5 раз запустить

[OVK2015]

Suxoi: Мне отсюда не видно какие запросы у вас были. Ссылки давайте

[Suxoi]

OVK2015 попробуйте запустить скрипт несколько раз подряд, стерев перед этим данные
www.glassdoor.com/Overview/Working-at-Compagnie-des-Alpes-EI_IE12983.11,30.htm

www.glassdoor.com/Overview/Working-at-Netformx-EI_IE9118.11,19.htm

[OVK2015]

Suxoi: Есть такое. У меня на каждом 5-ом curl обламывается. Куки погоду не делают. Надо с заголовками разбираться.

[Suxoi]

OVK2015 с загаловками очень все хитро, ребята на той стороне не плохо обложились))

[OVK2015]

Suxoi: Через час проверил,- пускают снова. Может и через меньший интервал сайт о моих curl забывает. Там полтора десятка js приходит,- лень в них ковыряться

[Suxoi]

OVK2015 Вот нашел ифну как они примерно работают - https://www.quora.com/How-does-distil-networks-bot...
Fingerprinting можно как-то обойти?

[OVK2015]

40 бит какого заголовка они анализируют? Что за отпечаток оттуда не понять. Чтоб обойти надо хотя бы понять о чем речь.
А там: обычная рекламная статья,- какие мы молодцы.

Там вот это более интересно:
Advanced Rate Limiting
Set rate limits such as pages per minute, pages per session, and session length.

Может задержку какую между curl`ами поставить?

[Suxoi]

OVK2015 https://toster.ru/user/Suxoi/info, напишите письмо, там отвечу

[OVK2015]

Suxoi: Лучше в аську пишите,- она чаще перед глазами. ICQ: 665750467

[OVK2015]

Suxoi: Напишите еще раз,- удалил контакт по невнимательности.

[Suxoi]

OVK2015 я не могу этим убогим ICQ пользоваться, у Вас telegram установлен?

[malvin]

Чем все закончилось то с обходом Distil?

[Suxoi]

malvin Защита у этой конторы очень надежная, слишком много затрат нужно, чтобы получить результат и мы отказались от этого источника.

Answer 1

[romy4]

Изучайте. Эмулируйте curl-ом ajax запросы и ответы.

Comments

[OVK2015]

А ответы эмулировать это как?

[romy4]

OVK2015: посылать ответы и заголовки так, чтобы они были идентичны тем, что отправляет оригинальный сайт

[OVK2015]

romy4: А! Вы вот о чем.
Как-то запутано звучит:

посылать ответы

[romy4]

OVK2015: запросы request
ответы response

иногда бывает цепочка
запрос get /path
ответ authenticate
ваш ответ username:password
их ответ token
ваш запрос get /path?token

[Suxoi]

romy4 Я пробовал, у них ответы формируются динамически, вот контора которая им защиту дает, если хотите можете сами посмотреть что и как получается
www.distilnetworks.com/web-scraping

Answer 2

[Виталий]

Еще бы вы сайт написали, а вообще запустите nihgtmarejs и пусть он сам делает грязную работу

Comments

[Suxoi]

https://www.glassdoor.com/Overview/Working-at-Gazp...,18.htm
А что за ПО nihgtmarejs?

[Виталий]

Suxoi: гугл совсем никак не ищет? парсер основанный на элетрон и хромиум

[Suxoi]

Виталий Пока никак не получается , есть идеи?если не через имитацию по типу nihgtmarejs

[Виталий]

Suxoi: нет у меня идей нет