Как сделать чтобы парсилась постраничная навигация, используя phpquery?

Question

[ganjo888]

Подскажите, как сделать чтобы парсилась постраничная навигация. Переменная $next содержит ссылку на след страницы.

function parseProduct($mysqli){
$products = $mysqli->query( "SELECT * FROM categories WHERE Parent_sub_ID > 0  " );

foreach ($products as $tovar) {
    $product_Url = 'http://happygifts.ru' . $tovar['url'];
    $fileProduct = file_get_contents( $product_Url );
    $value = phpQuery::newDocument( $fileProduct );
    $products = $value->find( '.art_n_heading_wp' );

    foreach ($products as $product) {
        $productpq = pq( $product );
        $nameProduct = $productpq->find( '.product-title' )->text();
        $artProduct = $productpq->find( '.product-number' )->text();
        $slovo1 = strtok( $artProduct, " " );
        $slovo2 = strtok( " " );
        $mysqli->query( "INSERT INTO tovars (name,art) VALUES ('" . $nameProduct . "','" . $slovo2 . "')" );
    }
    $next = $value->find( '.catalog-pagination span.modern-page-first ' )->next()->attr( 'href' );
}}

Comments

[Сергей Герасимов]

Выносите свои форычи в отдельную функцию, куда будете передавать в параметре ваш url и если $next не пустой, то эта функция вызовет сама себя с $next в параметре. Это называется рекурсия

Answer 1

[Михаил Бобков]

Код для парсинга страницы категории вынесите в отдельную функцию, принимающую url
пример:

foreach ($products as $tovar) {
  $product_Url = 'http://happygifts.ru' . $tovar['url'];
  parseCategory($product_Url)
}

function parseCategory($url){
...//тут парсим продукты страницы
  if($next){
    parseCategory($next);
  }
}

Comments

[ganjo888]

Как я смогу получить $url , ведь url который мне нужен он будет в другой функции?

[Михаил Бобков]

ganjo888, в $next будет адрес другой страницы категории - парсим её как обычную страницу той же функцией.

function parseCategory($url){
$fileProduct = file_get_contents( $url );
    $value = phpQuery::newDocument( $fileProduct );
    $products = $value->find( '.art_n_heading_wp' );

    foreach ($products as $product) {
     ...
    }
  $next = $value->find( '.catalog-pagination span.modern-page-first ' )->next()->attr( 'href' );
  if($next){
    parseCategory($next);
  }
}

[ganjo888]

Михаил Бобков,
Подскажи пожалуйста, ругается Warning: file_get_contents(): Filename cannot be empty in W:\domains\parser-catalog\parsing (2).php on line 113
Почему он говорит что url пустой?

function parseProduct($mysqli,$start,$end)
{
    $products = $mysqli->query( "SELECT * FROM categories WHERE Parent_sub_ID = 7  " );
    foreach ($products as $tovar) {
        $product_Url = 'http://happygifts.ru' . $tovar['url'];
        parsePagination( $product_Url,$mysqli,$start,$end );
    }
}

function parsePagination($url,$mysqli,$start,$end)
{
if ($start < $end){
    $fileProduct = file_get_contents( $url );
    $value = phpQuery::newDocument( $fileProduct );
    $products = $value->find( '.art_n_heading_wp' );
    foreach ($products as $product) {
        $productpq = pq( $product );
        $nameProduct = $productpq->find( '.product-title' )->text();
        $artProduct = $productpq->find( '.product-number' )->text();
        $slovo1 = strtok( $artProduct, " " );
        $slovo2 = strtok( " " );
        $mysqli->query( "INSERT INTO tovar (name,art) VALUES ('" . $nameProduct . "','" . $slovo2 . "')" );
    }
    $next = $value->find( '.catalog-pagination span.modern-page-first ' )->next()->attr( 'href' );
    $nexts = 'http://happygifts.ru'.$next;
    if (!empty($nexts)) {
        $start++;
        parsePagination( $nexts,$mysqli,$start,$end );
    }
}
}



$start = 0;
$end = 3;
parseProduct($mysqli,$start,$end);
parsePagination($url,$mysqli,$start,$end);

[Михаил Бобков]

ganjo888, в конце не нужно вызывать parsePagination($url,$mysqli,$start,$end);

parsePagination вызывается в parseProduct.

[ganjo888]

Михаил Бобков, Михаил Бобков, Спасибо большое Вам , всё получилось