Как спарсить объявление с юлы?

Question

[Just OK]

Здравствуйте.
Как можно спарсить объявление с Юлы?
У них при заходе в объявление сперва отображается прелоадер, а потом уже подгружается основной контент.
Каким образом можно спарсить инфу с объявления?
Я пробовал через CURL, но не вышло.

Answer 1

[alex1478]

Смотрите на запросы к серверу после прелоада

Comments

[Just OK]

Смотрел, не нашел ничего нужного.

[alex1478]

Олег Калимбах, специально зашёл, сам посмотрел. Всё там есть. После прелода грузится вся инфа о товаре отдельным запросом. Если вы не видите этого - рано вам писать что-то самому.

[Just OK]

alex1478, Я в во вкладке Network(в отладчике хрома) смотрел.
Там нет инфы про само объявление.
Есть Similar т.е. похожие объявления.
Конкретно по тому, которое я указываю - нету.

[alex1478]

Олег Калимбах, действительно, там похожие. Вся инфрмация из объявления вообще есть уже в пером ответе сервера, удивительно, что вы не увидели.

[Just OK]

alex1478, Тут есть один запрос, который якобы передает контент объявления.
Но он передает не весь.
Я уже все запросы пересмотрел.

[Just OK]

alex1478, Подскажи пожалуйста, какой там именно запрос?
Я уже все пересмотрел.
Там есть один запрос, который содержит URL самого объявления типа, он возвращает не весь контент, только часть.

[alex1478]

Олег Калимбах, в коде самой страницы объявления есть js переменная __YOULA_STATE__, в которой всё

[Just OK]

alex1478, Благодарю)

Answer 2

[zkrvndm]

На php Вы никак не спарсите инфу напрямую. Точнее не так, спарсить то в теории можно, но надо будет долго и нудно разбирать JavaScript отвечающий за подгрузку контента, без всякой надежды на успех: так как есть большая вероятность, что от таких хитрых есть какая-никакая зашита, т. е. там все будет специально запутано посильнее и обвешано различными проверками по самую макушку.

Для парсинга динамических сайтов существуют инструменты типа PhantomJS и Selenium - это такие специальные «ручные» веб-браузеры. Конкретно в вашем случае и вовсе достаточно обычного пользовательского скрипта, который можно будет запустить в любом браузере.

Comments

[Just OK]

У меня работа вся происходит на сервере.
К тому же уже видел подобную тему, что некоторые парсят как-то)

[zkrvndm]

Олег Калимбах, те кто парсят, это головастики которые не поленились разобрать все POST и GET запросы на сайте, после чего написали свою реализацию для получения объявлений с базы данных напрямую. Это не ваш случай, раз вы задали вопрос, этот путь для вас явно чересчур сложный. Простой и доступный способ здесь - это использование JavaScript-бота. Все остальное потребует от вас более глубоких знаний, чем есть. Как вариант, наймите фрилансера, чтобы он вам парсер написал (если надо именно php).

P. S. Есть еще одно решение - это использовать внешний сервис для подгрузки объявлений через их API. Правда все подобные сервисы платные, бесплатных нет.

[Just OK]

Надим Закиров, Только я уже смотрел все запросы через Network в отладчике, ничего дельного не нашел.

[zkrvndm]

Олег Калимбах, на родительский элемент внутри которого появляются объявления надо вешать точку остановки Break on, найти код который добавляет данные и разматывать клубок функций до самого начала.

[Mylistryx]

Олег Калимбах, на PHP вы ничего и не увидите, поскольку он не выполняет клиентский JS.
Т.е. Образно схематично все происходит так:
Браузер -> Запрос на получение страницы -> Сервер -> Страничка "пустышка" с JS -> Браузер выполняет JS -> Запрашивает контент
У вас же происходит так: PHP -> Запрос на получение страницы -> Сервер -> Страничка "пустышка" с JS -> Вот тут ваша миссия прерывается, т.к. вы не обрабатываете JS полученный в ответе.
Вам выше всё уже написали, чем ПОПРОБОВАТЬ спарсить, и то, столкнетесь с защитой от ботов и всего прочего.