Phpquery почему загружается одна и та же страница (пагинация)?

Question

[ChaseVase]

Здравствуйте, возникла проблема, при попытке спарсить несколько страниц, скрипт парсит лишь только одну страницу - первую. И поскольку я на нашел ссылок в самой пагинации, я решил попробовать с помощью счетчика результатов и "кастомных" ссылок, но не смог найти ошибку, из-за которой постоянно парсится лишь одна страница.
Для примера я взял - steamcommunity.com

$a = 1;
$url = "http://steamcommunity.com/market/search?q=MONTASAYER#p".$a."_price_asc";

function parser($url) {
    global $a;
    $file = get_content($url);
    $doc = phpQuery::newDocument($file);
    $startlist = array();
    $endlist = array();
    foreach ($doc->find('#searchResults_ctn .market_paging_summary') as $page) {
        $page = pq($page);
        $startlist = $page->find('span[id=searchResults_end]')->html();
        $endlist = $page->find('span[id=searchResults_total]')->html();
    }  
    if ($startlist < $endlist) {
        foreach ($doc->find('#searchResultsRows .market_recent_listing_row') as $item) {
            $item = pq($item);
            $img = $item->find('.market_listing_item_img')->attr('src');
            $text = $item->find('.market_listing_item_name_block span[class=market_listing_item_name]')->html();
            $gold = $item->find('.market_listing_price_listings_block span[class=sale_price]');
            echo "<img src='$img'>";
            echo $text;
            echo "Цена: $gold";
            echo "<hr>";
        }
        while ($startlist = $endlist) {
            $a = ++$a;
            $url = "http://steamcommunity.com/market/search?q=MONTASAYER#p".$a."_price_asc";
            parser($url);
        }
    }
}

Answer 1

[entermix]

Ссылка:
steamcommunity.com/market/search?q=MONTASAYER#p1_p...

Первая страница:
steamcommunity.com/market/search/render/?query=MON...

Вторая страница:
steamcommunity.com/market/search/render/?query=MON...

Все что нужно, прямо в JSON, а Вы что то совсем не то делаете, если я правильно понял

Comments

[ChaseVase]

Если вас не затруднит, можете посоветовать какое нибудь чтиво на эту тему, особенно выборке данных из results_html.

[entermix]

ChaseVase: если Вы только учитесь, лучше попробуйте парсить простенькие сайты на html, подойдет любой мануал.

В вашем случае загрузка контента страниц происходит динамически (AJAX), поэтому Вы не сможете парсить контент при помощи PHP, чтобы парсить такие сайты нужно использовать Selenium или PhantomJs, но это посложнее.

Парсинг динамических сайтов

Так же можно просто отследить то, какие запросы посылает браузер, как это сделал я (поможет расширение firebug для Firefox и др.) и просто забирать весь контент в JSON формате.

Например:

http://steamcommunity.com/market/search/render/?query=MONTASAYER&start=0&count=10&search_descriptions=0&sort_column=price&sort_dir=asc

По ссылке видно, что запрашиваются данные с 0 по 10, это и есть первая страница, меняем параметры start и count на 10 и 20 соотв. мы получим вторую страницу и т.д.

[ChaseVase]

entermix: Извините за некую "наглость", а если я допустим хочу взять 0 pуб. из всего это results_html, то как лучше поступить?

[entermix]

ChaseVase: конкретизируйте свой вопрос

[entermix]

ChaseVase: вот results_html это и есть тот HTML, который вам нужно парсить, для этого можно использовать phpQuery

Конкретно по выборке при помощи phpQuery смотрите в документации, так как не смогу подсказать в связи с тем, что не работал с ним.