Как парсить данные в таком случае?

Question

[Us59]

Просматриваю F12 (Network) в браузере и смотрю как что происходит.
Вижу, что браузер выполняет POST запрос, просматриваю headers этого запроса и вижу что в Request Headers находятся "Токены", без которых, если делать cURL запрос я получаю ошибку, т.е. сервер проверяет наличие этих токенов.

Встает вопрос: как генерируются эти токены, покапавшись, я понимаю: эти токены генерируются через Javascript, ниже фото нужного мне POST запроса и в initiator я вижу ссылки на .js, отсюда и сделал вывод что токены генерируются именно им.


Уточню, что просматривал и искал эти самые токены в предыдущих запросах, html страничке итд... пусто.. ничего не нашел.

ВОПРОС: Как парсить данные с таких сайтов, которые генерируют через JS tokenы, которые требуется отправлять в header запросах, чтобы получать нужные результаты?
Мой скрипт написан на PHP, поэтому мне нужно что-то, что можно совместить/вызывать с php.


Сразу отвечу любителям Selenium: Данные, которые я хочу получать не отображаются пользователю сайта, их нету в HTML страничке, данные в формате jsonя нахожу в POST запросе в браузере, просматривая F12 -> Network, и как я понимаю Selenium не сможет вытаскивать этот самый json.

Comments

[Us59]

Pardon Me! Where Do I Find 4giveness?, Серьезно? Есть какие-то ссылки я почитал бы.. спасибо заранее, это очень интересно.

[PeeX]

а что, если не секрет, за запросы?
что за сайт ? скрипт ?

а то я так пытался по F12 отследить id клиентов для web-push
но оказалось, что браузер шлет по своим каналам запросы и id берутся оттуда и никак ни браузером, ни на сервер их не перехватить, только сниффером, а там по-моему https, т.е. никак (ну или мега геморно)

[Us59]

PeeX, вот сайт:

spoiler

https://account.t-mobile.com/signin/v2/

Фото "токенов" которые нужно получать:

Answer 1

[AUser0]

Вообще-то AJAX-запросы всегда сгенерированы JavaScript-ом, в этом их суть.

А так, надо разбирать эти JS, удостоверяться, что токены генерируются именно в них, и повторять JS-генерацию средствами PHP.

Comments

[Us59]

AUser0 искал уже специалистов, чтобы разобрать JS код, так как сам в этом не бум бум, но никто не берется (всем эта задача не под силу). У меня в профиле есть почта, если есть знания и время/возможность отпишите туда, можно обсудить.

[AUser0]

Если обрабатываемый сервер - публичный, то просто укажите в вопросе URL на нужную страничку, и глядишь у кого-нибудь найдёт время...

[Us59]

AUser0, да вряд ли кто-то бесплатно будет заниматься моей проблемой) Я платно людей не могу найти...

[AUser0]

Ну, не хотите - так тому и быть.

[Николай]

Us59, никто не берется - не значит что им не под силу. Просто по быстрому разобраться в подобном нельзя, это требует время, инвестировать его в проект который тебе в пень не сдался, это просто не разумно и мотивации делать что-то подобное нет, вот и говорят что там слишком сложно и тд, чтобы ты отстал.

[Us59]

Николай, именно поэтому я тут, в поиске решений)