Задача состоит в автоматизации процесса, хочу написать скрипт который будет выполнять запрос и получать результат.
Сайт с которого хочу получать данные:
Коротко о сайте: Сайт подгружает через ajax при действиях некоторый контент, чтобы он подгрузил нужные мне поля которые я должен заполнить нужно проклацать пару клавиш.
Чтобы пропустить эти клацанья по сайту я могу попытаться запросить подгрузку напрямую через прямой запрос вот так это выглядит:
по факту это форма которую человек должен запомнить, и нажать кнопку button (которая загружается не через ajax запрос, а сразу при загрузке сайта в самом начале, точно также загружается гугл капча, которая не дает отправить форму до тех пор, пока ее не решить).
Когда вручную заполняю форму на сайте вижу в Network что сайт отправляет POST запрос
spoiler
url запроса:
https://att-cesearch.hylamobile.com/api/rest/v2/models/1347621/category/CELL_PHONES_STORE/price?program=ATT
Фото параметров запроса:
В итоге, когда все поля заполнены и recaptha решена по нажатию на button выполняется OPTIONS метод:
В ответ на этот OPTIONS запрос получается ответ:
Зачем и что такое Options запрос я не понял, ведь далее идет точно такой же GET запрос, где передаем все теже параметры, но ответ получаем уже другой (нужный):
spoilerФото параметров:
и сам ответ:
Вопросы:
1) Я пытался через curl подгрузить сайт, но сразу этого не получилось сделать, одна ошибка за другой возникает при загрузке, в итоге задаюсь вопросом, а нужно ли вообще подгружать все данные, которые не нужны, ведь саму форму которую пользователь должен заполнить я могу подгрузить прямым запросом url (но кнопка для отправки этой формы не подгрузится в таком случае, и гугл капча естественно тоже) в итоге нужно все тащить?! через curl?!
2) Если честно запутался и не знаю с чего начать даже, в интернете поискал и нашел только детские запросы по типу подставил в url нужные параметры и все, тут так не получится если я правильно понимаю, хотя бы из-за капчи, ведь мы должны сообщить сайту, что мы решили капчу?
3) Может быть, кто-то может правильно построить ход-работ, чтобы понимать что сначала сделать, а что потом, чтобы был ПЛАН от чего и куда идти.
p.s. План это более-менее подробный ответ, а не ответы по типу "копай в сторону curl"