Здравствуйте. Проблема следующая. Пытался парсить один крупный сайт (с помощью curl и php), но как оказалась на нем установлена защита от парсинга, которая состоит в следующем. При первом открытии страницы сайта, через JS в браузере устанавливаются куки, которые в последствии проверяются на наличие. Соответственно если их нет, значит JS не отработал, значит страницу запрашивает робот.
Пробовал искать эти куки в коде сайта, но это не помогло, даже когда я их там находил и отправлял вместе с заголовками все равно меня палил сервер. Это значит что где то еще устанавливаются куки, которые я не нашел.
Файл для сохранения и чтения кук через CURL конечно имеется, но в принципе это не так важно, так как проверка идет именно клиентских кук. (я имею виду флаги в curl_setopt CURLOPT_COOKIEJAR и CURLOPT_COOKIEFILE).
Я прочитал статью про это (
здесь ) но мне это не помогло, так как автор быстро нашел ту куку которую проверял сервер, а у меня ее найти не получается.
Посоветуйте пожалуйста как можно отследить процесс создания кук через JS.
