Как отследить скрытые post/get запросы?

Question

[Владимир Адам]

Возможно ли каким-то образом отследить все скрытые запросы/заголовки отправляемые тем или иным сайтом с помощью тех или иных технических средств? Если ответ имеет положительную окраску, то как?

Небольшой экскурс в проблему:
Некоторое время назад начал работать над созданием обёртки для сайта (Без OpenAPI), да всё шло довольно неплохо. Реализовал авторизацию через POST-запрос, начал парсить различные закрытые участки сайта, но проблема появилась при попытке написания обёртки функции для отправки личных сообщений. В чём же именно она состоит? Отслеживаемый POST-запрос попросту не отрабатывает или же бракуется сервером (т.е изменений после него нет), но если же отправлять через браузер (без отслеживания запросов), то всё проходит идеально.

И именно поэтому я имею подозрения о том, что форма отправки запроса имеет ряд скрытых полей, которые не может перехватить используемый мной инструмент (Temper Data for FF Quantum).

Comments

[Игорь Статкевич]

Не сказать, что парсингом занимаюсь давно, но не доводилось встречать еще скрытых запросов, все запросы которые идут между тобой и сайтом отображается в том же Chrome DevTools, а то что, у тебя не уходит запросом сообщение, то надо искать, что необходимо чтобы оно ушло, это может быть какой то токен, это может быть header запроса, это может быть какой то java скрипт который выполняется в твоем присутствии на сайте, тут надо копать лучше

[Владимир Адам]

MadInc, Если я правильно понимаю, то под данную задачу можно применять DevTools, ведь так? Или же имеются более продуктивные методы поиска подобных "опций"?

[Игорь Статкевич]

Владимир Адам, DevTools имеет все что надо для отслеживания операций между тобой и сайтом

Answer 1

[Zanak]

Я бы присмотрелся к тому, что отдается и куда:
- первое, что я начал бы искать в коде формы, это csrf токен, вставлять который сейчас считается правилом хорошего тона.
- как формируется action формы, если зайти на страницу с отправкой сообщения и нажать "обновить". иногда целевой url формы имеет рандомный компонент, который тоже может использоваться как маркер.
- можно ли перейти на страницу отправки сообщения по закладке в буркмарке. если можно, то следует проверить, сохраняются ли при этом сообщения после отправки. если нет, среди прочего, может проверятся и значение реферера
- так же, я бы посмотрел, сколько полей, и скрытых и открытых есть в форме, и сколько их на самом деле передается.
- иногда помогает заглянуть в localstorage и cookies.

Если все это не помогло, то вам повезло встретить что-то интересное, вооружайтесь DevTools и начинайте изучать скрипты по порядку, кто грузится, в каком порядке, и что делает. Здесь хорошо помогает поиск имен js файлов в сети, чтобы отбить рассмотрение известных js пакетов.

Answer 2

[Александр]

Открываешь инструменты разработчика идешь на вкладку сеть и там смотришь что и куда отправлялось. Возможно сайт учитывает Referer, динамические куки(контроль последовательности), возможно на сайте есть скрипт который отслеживает ваши отслеживания.

Comments

[Владимир Адам]

Насколько я могу судить по проведённому мной мониторингу запросов, там используется следующая схема Referer:
- no-referrer-when-downgrade
Можно ли узнать, что именно это значит и в какую сторону стоит копать?