Как грабить js ссылку?

Question

[Muslim Mamaev]

Здравствуйте! Написал грабер новостей

$id = $_GET['id'];


$file = file_get_contents('https://www.kinomania.ru/news/'. (!empty($id) ? $id : ''));

У этого сайта Вот столкнулся с такой проблемой. На доноре есть ссылка в низу с надписью "Ещё" При нажатие подгружаются ещё новости. У меня не работает. Вот я не могу это исправить,мои знания не позволяет. Вот данные которые я мог получить из браузера . Запросить URL: https://www.kinomania.ru/news?handler=get&page=2
Метод запроса: POST
Код статуса: 200
Мой грабер Всем спасибо!

Comments

[GrayHorse]

В консоль посмотреть, не?
Вместо JSON твой сервер возвращает HTML. Значит неправильный запрос делается на сервере к оригинальному сервису.

[Muslim Mamaev]

GrayHorse, Да смотрел конечно.Это тоже заметил я. Вот как решит к сожалению не смог. 4-ый день я вожусь с этим. Не подскажете что нужно сделать?

[GrayHorse]

В DevTools ПКМ по запросу (на оригинальном сайте) Copy -> Copy as Node.js fetch.
Дополнительно User-Agent хедер указать.

Answer 1

[zkrvndm]

Когда ты качаешь POST-запросом данные из ссылки:

https://www.kinomania.ru/news?handler=get&page={номер_страницы}

Надо в том числе и отправлять те же заголовки, что отсылает браузер. Тогда все будет парсится норм.

Comments

[Muslim Mamaev]

А как отправлять заголовки как вы просите?

[zkrvndm]

Muslim Mamaev, я ничего не прошу, я просто говорю, что если хотите на PHP получить данные по кнопке еще, надо при POST-запросе эмулировать браузер - повторить в своем запросе те же заголовки, что обычно отправляет браузер. Привести пример не могу, его писать долго, а я приболел что-то(

Ну вот небольшой сторонний пример с отправкой 2 заголовков:
https://snipp.ru/php/post-file-get-content#link-ot...
Только вам надо не 2 заголовка отправлять, а куда больше + тело запроса у вас должно быть пустым.