Как при авторизации через curl пройти проверку что сайт открываться именно с браузера?

Question

[Chernichko]

Вот уже неделю страдаю над авторизацией на сайте через curl и у меня есть 100500 неработающих вариантов)

Как оказывается, возможно для пущей защиты от считывания роботами на этом сайте могли придумать JS-фичи для проверки что сайт открываться именно с браузера - тогда нужен JS-парсер.

Прекрасно.

Что этот парсер должен делать? что найти? и как потом использовать то что он нашел? и когда он должен запускаться?

в первый раз с ним сталкиваюсь.....

Comments

[Lynn «Кофеман»]

А не проще браузер взять? Тот же «безголовый» Хром.

Answer 1

[Евгений Вольф]

Вот уже неделю страдаю над авторизацией на сайте

Вы завязывайте с этим, так и нервный срыв получить можно :D

Что этот парсер должен делать? что найти? и как потом использовать то что он нашел? и когда он должен запускаться?

Что именно происходит в JS-коде - Вы можете посмотреть в своём собственном браузере, нажав F12 и открыв отладчик JS. Детально проанализировав полученную информацию, Вы сможете понять, что там происходит...

Другой (или дополнительный вариант) - Вам нужно будет детально изучить HTTP-заголовки которые отправляет Ваш браузер и сравнить их с заголовками, которые отправляет Ваш парсер...

Ещё как вариант, рекомендую Вам ознакомиться с PhantomJS, среди прочих применений - он так же применяется вместе с PHP (который вы указали в тегах) для тестирования проектов на уровне "эмуляция браузера/пользователя".

Comments

[Chernichko]

Вы можете посмотреть в своём собственном браузере, нажав F12 и открыв отладчик JS

детально изучила , там нет ничего что могло бы хоть как томне помочь : подгружаются скрипты и всякие плагины.

Вам нужно будет детально изучить HTTP-заголовки которые отправляет Ваш браузер и сравнить их с заголовками, которые отправляет Ваш парсер...

вот это самое интересное. Я отследила заголовки через mitmproxy и куки там сильно отличаются от тех. что сохраняются в файле кук. Если выводить куки отдельно при получении сразу через curl_getinfo , то они так точно такие же которые сохраняются в файле (т.е. все правильно сохраняется.)

Мне не понятно что происходит и почему это происходит.

И да, я на пороге нервного срыва)

[Евгений Вольф]

Chernichko, откровенно говоря, Ваш вопрос из области некоей риторики. Иными словами, мы сейчас теоретически отлаживаем какой-то абстрактный клиент-сервер, достоверно зная только то, что обмен информацией между ними идёт по HTTP-протоколу.

Касательно конкретно "куков", я думаю практический интерес представляю конкретно те, что сохраняются. Посмотреть какие именно куки сохранены для сайта "N", можно прямо в браузере (например в хроме, это можно сделать нажав чуть левее адресной строки сайта). Хотя, лично я бы попытался разобраться почему некоторые куки которые есть в заголовках - не сохраняются (внезапно)? Далее не плохо бы проверить, какие из этих куков ещё и отправляются обратно (1 - в браузере, 2 - у Вас / через CURL). Ну и пожалуй, неплохо бы сравнить все HTTP-заголовки, реального браузера (в котором всё работает) и Вашего варианта его реализации, уверен, что отличаются там не только заголовки с куками...

Касательно JS-кода, который есть на сайте, наибольший интерес, скорее всего будет представлять тот, который будет генерировать какие-то обратные запросы, т.к. без отправки запроса "обратно", сервер информацию не получит. Ну и ещё как вариант, что бы на 100% удостовериться, нужно ли Вам что-то искать в области JS-кода, Вы можете просто отключить JS в браузере и посмотреть, будет ли возможность авторизоваться. Если будет - про JS можно "забыть" и детально изучать остальную часть процесса, если же нет - выяснить причину происходящего.