Рекурсивный парсинг PHP?

Question

[Дмитрий Пивоваров]

Здравствуйте, есть задача пропарсить все сообщения от пользователя на форуме xenforo.
Дело в том,что как я понял - без рекурсии не обойтись.
При переходе на пятую страницу сообщений пользователя возможно два исхода.
1 - парсер закончит свою работу и вернет результат. 2 - он регуляркой узнает то,что есть еще более старые сообщения и запустит еще раз самого себя.
Что-то я написал,но ничего у меня не работает,или работает тяжко.

function getAll($id)
    {
        $resultarray = array();
        $url = getRedirect('https://forum.arizona-rp.com/search/member?user_id='.$id);
        preg_match_all('/https:\/\/forum.arizona-rp.com\/search\/(\d+)\//',$url,$searchid);
        $searchid = $searchid[1][0];
    
        $resultarray = recursiveparse('https://forum.arizona-rp.com/search/'.$searchid.'/?page=',$resultarray,$searchid);
    
        return $resultarray;
    }
    
    
    function recursiveparse($url,$resultarray,$searchid)
    {
        for ($i=1; $i <= 5; $i++) { 
            $page = getPage($url . $i);
            $ik = $i + 1;
            if (strpos($page,'<a href="/search/'.$searchid.'/?page='.$ik.'">'))
            {
                preg_match_all('/<a href="\/profile-posts\/(\d+)\/">.*<\/a>/',$page,$foo);
                preg_match_all('/<a href="\/profile-posts\/comments\/(\d+)\/">.*<\/a>/',$page,$fok);
                preg_match_all('/<a href="\/threads\/\d+\/post-(\d+)">/',$page,$threads);
                $resultarray = array_merge($resultarray,$foo[1],$fok[1],$threads[1]);
            } else {
                if(preg_match_all('/https:\/\/forum.arizona-rp.com\/search\/\d+\/older\?before=\d+/',$page))
                {
                    preg_match_all('/https:\/\/forum.arizona-rp.com\/search\/\d+\/older\?before=\d+/',$page,$pageurl);
                    $resultarray = recursiveparse($pageurl[0][0],$resultarray);
                } else {
                    preg_match_all('/<a href="\/profile-posts\/(\d+)\/">.*<\/a>/',$page,$foo);
                    preg_match_all('/<a href="\/profile-posts\/comments\/(\d+)\/">.*<\/a>/',$page,$fok);
                    preg_match_all('/<a href="\/threads\/\d+\/post-(\d+)">/',$page,$threads);
                    $resultarray = array_merge($resultarray,$foo[1],$fok[1],$threads[1]);
                    break;
                }
            }
    
        }
        return $resultarray;
        
    }

С рекурсией столкнулся впервые,прошу помощи.
Сам список сообщений - https://forum.arizona-rp.com/search/3456826/

Comments

[Daria Motorina]

У меня по ссылке на форум показывает просто ошибку.
Думаю, что стоит поменять логику парсинга - сделать условно do { parseCommentsOnPage() } while ($commentsOnPageFound && $nextPageLinkExists).
Так придется проверять только первую страницу комментов и факт наличия ссылки на новую страницу.

[Дмитрий Пивоваров]

Daria Motorina, Ошибку выдает скорее всего из за того,что не зарегистрированы, сейчас попрою сделать то,что вы посоветовали

Answer 1

[Антон Шаманов]

эти твои getPage и getRedirect авторизацию учитывают?

Comments

[Дмитрий Пивоваров]

конечно, все логинится,столкнулся с новой проблемой - при переходе на более старые записи - показываются новые записи. Понял,что дело скорее всего в куках, но в коде все куки учитываются.

function getAll($id)
{
    global $token;
    $resultarray = array();
    $url = getRedirect('https://forum.arizona-rp.com/search/member?user_id='.$id);
    preg_match_all('/https:\/\/forum.arizona-rp.com\/search\/(\d+)\//',$url,$searchid);
    $searchid = $searchid[1][0];

    $resultarray = recursiveparse('https://forum.arizona-rp.com/search/'.$searchid.'/?page=',$resultarray,$searchid);

    return $resultarray;
}


function recursiveparse($url,$resultarray,$searchid)
{
    $i = 1;
    do {
        echo $page = getPage($url . $i);
        $ik = $i + 1;
        preg_match_all('/<a href="\/profile-posts\/(\d+)\/">.*<\/a>/',$page,$foo);
        preg_match_all('/<a href="\/profile-posts\/comments\/(\d+)\/">.*<\/a>/',$page,$fok);
        preg_match_all('/<a href="\/threads\/\d+\/post-(\d+)">/',$page,$threads);
        $resultarray = array_merge($resultarray,$foo[1],$fok[1],$threads[1]);
        if(preg_match_all('/<a href="\/search\/(\d+)\/older\?before=(\d+)"/',$page))
        {
            preg_match_all('/<a href="\/search\/(\d+)\/older\?before=(\d+)"/',$page,$pageurl);
            echo 'https://forum.arizona-rp.com/search/'.$pageurl[1][0].'/older?before='.$pageurl[2][0];
            $resultarray = array_merge(recursiveparse('https://forum.arizona-rp.com/search/'.$pageurl[1][0].'/older?before='.$pageurl[2][0],$resultarray,$pageurl[1][0]));
        }
        $i++;
    } while (preg_match_all('/<a href="\/search\/(\d+)\/older\?before=(\d+)"/',$page) or strpos($page,'<a href="/search/'.$searchid.'/?page='.$ik.'">'));
    
    return $resultarray;
    
}

[Антон Шаманов]

Дмитрий Пивоваров, я не совсем понимаю что ты от меня хочешь - ясно что проблема в данных функциях, но их код ты не указал

[AUser0]

Дмитрий Пивоваров, в таком виде вам рекурсивный вызов и не нужен, только мешает. Просто продолжайте обработку страничек, пока есть ссылка на более "старые страницы". Разумеется $i лучше брать из ссылки, а не самому $i++.

[Антон Шаманов]

AUser0,

Разумеется $i лучше брать из ссылки, а не самому $i++.

чем?

[AUser0]

Антон Шаманов, так есть же preg_match_all() в выражении while(), вот им и "вычисляйте" параметр следующей страницы. Надо просто добавить третий аргумент - массив для найденного параметра.

[Антон Шаманов]

AUser0, я спросил чем лучше, а не что делать