Почему при парсинге возвращается неактуальная версия страницы?

Question

[nikita-slb]

Парсю страницу сайта на которую добавляется информация постоянно примерно раз в минуту.

По какой причине при получении этой страницы средствами php я получаю ее устаревший вариант?

Пробовал и через curl и через file_get_contents, но получаю упорно старый вариант страницы, это видно по контенту.
Если зайти с браузера, то контент уже новый, а при получении средствами php старый, притом отставание больше часа...

У кого-нибудь есть идеи?

Comments

[Андрей]

А можно пример такой странички? Люблю с парсингом возиться))

[OVK2015]

Откуда тянет секрет?

[nikita-slb]

Андрей: otvet.mail.ru

[Андрей]

nikita-slb: а как именно вы парсите страницу? Вы видели, что там контент генерится через JS?

[Виталий]

Забудьте про курл уже..... т

Answer 1

[Андрей]

Нашёл у них страницу https://otvet.mail.ru/api/v2/questlist где в json хранятся и, что важно для вас, своевременно обновляются все вопросы.

То есть достаточно этого кода:

json_decode(file_get_contents('https://otvet.mail.ru/api/v2/questlist'), true)

И получите в массиве последние 100 записей

Answer 2

[Ilya]

Можете попробовать использовать опцию:
curl_setopt($curl, CURLOPT_FRESH_CONNECT, TRUE);
что позволит всегда использовать новое соединение.
Если дело в кэше, то должно решить задачу.

Comments

[nikita-slb]

пробовал, не помогло
уже склоняюсь к версии своеобразного бана

[Максим Тимофеев]

nikita-slb: скорее своеобразный кеш привязанный к сессии