@Us59

Как парсить данные в таком случае?

Просматриваю F12 (Network) в браузере и смотрю как что происходит.
Вижу, что браузер выполняет POST запрос, просматриваю headers этого запроса и вижу что в Request Headers находятся "Токены", без которых, если делать cURL запрос я получаю ошибку, т.е. сервер проверяет наличие этих токенов.

Встает вопрос: как генерируются эти токены, покапавшись, я понимаю: эти токены генерируются через Javascript, ниже фото нужного мне POST запроса и в initiator я вижу ссылки на .js, отсюда и сделал вывод что токены генерируются именно им.
5ed7979a9ba0d391781664.png

Уточню, что просматривал и искал эти самые токены в предыдущих запросах, html страничке итд... пусто.. ничего не нашел.

ВОПРОС: Как парсить данные с таких сайтов, которые генерируют через JS tokenы, которые требуется отправлять в header запросах, чтобы получать нужные результаты?
Мой скрипт написан на PHP, поэтому мне нужно что-то, что можно совместить/вызывать с php.


Сразу отвечу любителям Selenium: Данные, которые я хочу получать не отображаются пользователю сайта, их нету в HTML страничке, данные в формате jsonя нахожу в POST запросе в браузере, просматривая F12 -> Network, и как я понимаю Selenium не сможет вытаскивать этот самый json.
  • Вопрос задан
  • 128 просмотров
Пригласить эксперта
Ответы на вопрос 2
@oxidmod
Смотришь как js генерит токены - делаешь в пыхе так же
Ответ написан
@AUser0
Чем больше знаю, тем лучше понимаю, как мало знаю.
Вообще-то AJAX-запросы всегда сгенерированы JavaScript-ом, в этом их суть.

А так, надо разбирать эти JS, удостоверяться, что токены генерируются именно в них, и повторять JS-генерацию средствами PHP.
Ответ написан
Ваш ответ на вопрос

Войдите, чтобы написать ответ

Войти через центр авторизации
Похожие вопросы
АКМЭ сервис Санкт-Петербург
от 120 000 до 150 000 ₽
Директ Кредит Казань
от 70 000 до 120 000 ₽
Технология Тюмень
от 50 000 до 130 000 ₽
08 авг. 2020, в 11:31
500 руб./за проект
08 авг. 2020, в 09:16
1000 руб./за проект
08 авг. 2020, в 06:10
8000 руб./за проект