Как парсить ajax запросы сайта через Curl?

Question

[kosmok]

Есть сайт с мультиками для детей " https://kadikama.ru/ " страница одного сериала " https://kadikama.ru/11-2014-vspysh-i-chudo-mashink... " и при загрузке страницы подгружается первый сегмент видео
"https://giza.ourdb.ru/tvseries/e731f52858ba446c4f4... " и как получить все приходящие и уходящие ajax запросы сайта через Curl.А дальше я просто уберу "seg-1-" через регулярные выражение.

Comments

[Пашенька]

Теперь понятно, как бмвисты становятся бмвистами.

[kosmok]

как в панели разработчика браузера в вкладке Network

[kosmok]

Пашенька, все начинается с детства

[kosmok]

Но все таки, как получить все приходящие и уходящие ajax запросы сайта через Curl

[Пашенька]

kosmok, curl'ом вы не можете узнать, какие запросы отправляет браузер.

[ProjectSoft]

kosmok,

получаете плейлисты по разрешениям

curl 'https://hassium.ourdb.ru/tvseries/e731f52858ba446c4f456273c1abac11d21fb7af/ca1b83c33b0be56a559778f2db5fa9aa:2020071317/hls.m3u8' \
  -H 'Connection: keep-alive' \
  -H 'Pragma: no-cache' \
  -H 'Cache-Control: no-cache' \
  -H 'User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.138 Safari/537.36 OPR/68.0.3618.173' \
  -H 'DNT: 1' \
  -H 'Accept: */*' \
  -H 'Origin: null' \
  -H 'Sec-Fetch-Site: cross-site' \
  -H 'Sec-Fetch-Mode: cors' \
  -H 'Sec-Fetch-Dest: empty' \
  -H 'Referer: https://kadikama.ru/11-2014-vspysh-i-chudo-mashinki.html' \
  -H 'Accept-Language: ru-RU,ru;q=0.9,en-US;q=0.8,en;q=0.7' \
  --compressed

Далее получаете нужный плейлист

curl 'https://giza.ourdb.ru/tvseries/e731f52858ba446c4f456273c1abac11d21fb7af/ca1b83c33b0be56a559778f2db5fa9aa:2020071317/480.mp4:hls:manifest.m3u8' \
  -H 'Connection: keep-alive' \
  -H 'Pragma: no-cache' \
  -H 'Cache-Control: no-cache' \
  -H 'User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.138 Safari/537.36 OPR/68.0.3618.173' \
  -H 'DNT: 1' \
  -H 'Accept: */*' \
  -H 'Origin: null' \
  -H 'Sec-Fetch-Site: cross-site' \
  -H 'Sec-Fetch-Mode: cors' \
  -H 'Sec-Fetch-Dest: empty' \
  -H 'Referer: https://kadikama.ru/11-2014-vspysh-i-chudo-mashinki.html' \
  -H 'Accept-Language: ru-RU,ru;q=0.9,en-US;q=0.8,en;q=0.7' \
  --compressed

Скопировать параметры curl вы можете

в панели разработчика

Answer 1

[tigra]

Именно curl'ом никак, потому что js выполняется браузере
Варианты:
- через панель разработчика посмотреть куда и с какими параметрами летят запросы и подставить в curl
- воспользоваться phantomjs или selenium web driver чтобы полноценно заходить на сайт и выдёргивать инфу (как крайний случай, медленно но верно)