Почему не работает функция Simple HTML DOM в цикле?

Question

[Николай Ковалевский]

Такая проблема, копирую список стримов с сайта через SimpleHTMLDOM. Проблема в том, что список размещен на нескольких страницах-категориях. Через foreach я делаю загрузку нескольких категорий, однако начиная со второй итерации функции simple HTML DOM не работают.

<?php
include "simple_html_dom.php";
function GetRWGames($rw_cat){
    $live = new simple_html_dom();
    $live->load_file("http://live.robinwidget.org/static/section" . $rw_cat . ".html");
    $data = $live->find(".lshpanel");
    $counter = 0;
    foreach($data as $game) {
        $games[$counter][cat] = $game->find(".section",0)->plaintext;
        $games[$counter][time] = $game->find(".date",0)->plaintext;
        $temp = $game->find(".lshevent",0)->plaintext;
        $temp = explode(" - ", $temp);
        $games[$counter][team1] = trim ($temp[0]);
        $games[$counter][team2] = trim ($temp[1]);
        $temp = $game->find("a");
        foreach ($temp as $a) {
            $a=$a->href;
            if(stristr($a, "javascript:openWindow")==true){
                $temp= strstr($a, "http");
                $temp= strstr($temp, '"',1);
                $games[$counter][links] .= $temp . ";";}
            elseif(!strpos($a,"adserving")&&!strpos($a,"adsrv")&&!empty($a))
            {$games[$counter][links] .= $a . ";";}
        }
        $counter++;
    }
    return $games;
}
$games = array();
// Load HTML from a string
$rw_cats = array(35,36,37,38,39,57,59);
foreach($rw_cats as $rw_cat){
print_r(GetRWGames($rw_cat));
}

Ошибка:

Fatal error: Uncaught Error: Call to a member function find() on null in D:\os\OpenServer\domains\newtest.ru\simple_html_dom.php:1113 Stack trace: #0 D:\os\OpenServer\domains\newtest.ru\index.php(7): simple_html_dom->find('.lshpanel') #1 D:\os\OpenServer\domains\newtest.ru\index.php(34): GetRWGames(36) #2 {main} thrown in D:\os\OpenServer\domains\newtest.ru\simple_html_dom.php on line 1113

Первая итерация проходит успешно, я получаю данные. Во второй итерации find перестает работать. При этом страницы вроде как загружаются, проверял просто загрузкой и выводом. Пробовал генерировать имя $live, вручную предоставлять объект simple_html_dom для обработки в $data, делал вовсе без циклов, вручную перебирая итерации. Постоянно ошибка на первом find.

Answer 1

[vit134]

почти та же проблема Call to a member function innertext() on null

function getContent($url) {
    $html = new simple_html_dom();
    $html->load_file($url);
    $html->save();

    $table = $html->find('table.tb-matches');

    foreach ($table as $key => $value) {
       foreach ($value->find('tr') as $key => $tr) {
            $elem =  $tr->find('td', 0);
            echo 'key' . $key . '<br>';
            echo 'tr' . $tr . '<br>';
            echo $tr->find('td', 0)->attr['colspan'] . '----<br>';
        }
    }

}
foreach ($dateArr as $key => $dateVal) { 
    getContent($url . $dateVal); 
}

пробовал после foreach ($table as $key => $value) { добавлять $value = new simple_html_dom();
ошибка стала появляться сразу, не выполняется даже первая итерация

UPD

решил проблему так: сначала добавляю контент всех страниц в переменную

foreach ($dateArr as $key => $dateVal) {
        $out .=  file_get_contents($url . $dateVal) ;
}

и потом создаю объект simple_html_dom

$html = new simple_html_dom();
    $html->load($out);
    $html->save();

    $table = $html->find('.list_table');

    foreach ($table as $key => $value) {
        $dd = $value->attr['date'];

        foreach ($value->find('table.tb-matches tr') as $key => $tr) {

            $elem =  $tr->find('td', 0);

            if ($elem->attr['colspan'] != '7') {
                $resultArr[$dd][] = array(
                    'time' => $tr->find('td', 0)->plaintext,
                    'home_team' => $tr->find('td.home-team', 0)->plaintext,
                    'away_team' => $tr->find('td.away_team', 0)->plaintext,
                    'status' => trim($tr->find('td.status', 0)->plaintext),
                    'score' => $tr->find('td.score', 0)->plaintext,
                    'href' => 'http://goal24.ru' . $tr->find('td.option a', 0)->href,
                );
            }
        }
    }

PS
Нашел еще один вариант решения

в функции которая гоняется в цикле, заменить $html = new simple_html_dom() на $html = str_get_html(file_get_contents($url)). Результат на лицо.

Comments

[Николай Ковалевский]

Ну это очевидно, value сразу же обнуляется. Я решил весьма костыльным методом, загружаю результат парса в 1 файл и после с него же делаю парсинг в основную переменную. Видимо у SimpleHTMLDOM какие-то проблемы с мультипарсом.

[vit134]

так мне получается и нечего будет загружать в файл, ведь дальше первой итерации дело не заходит)

[Николай Ковалевский]

vit134: Я о том, что ты в цикле с помощью
$html = new simple_html_dom();
$html->load_file($url);
echo $html;
Выгружаешь все на одну страницу, а потом парсишь его с помощью того же load_file.

[vit134]

да, в итоге почти так и сделал, только не в файл а в переменную, вот теперь думаю, у меня на каждой странице есть ссылки еще на несколько страниц которые тоже спарсить бы, и вот как это сделать я вообще хз)

[Николай Ковалевский]

vit134: У меня чего-то в переменную не вышло, проблемы с типом. Можешь показать код?

[vit134]

for ($i = 1; 5 >= $i; ++$i) {
        $dateArr[] = date('d-m-Y', strtotime(-24 * $i . ' hours')); // записываю даты для ссылок в массив
    }

    $out;

    foreach ($dateArr as $key => $dateVal) {
        $out .= '<div class="list_table" date="' . $dateVal . '">' . file_get_contents($url . $dateVal) . '</div>';// записываю контент по ссылкам обернув их в тэг и добавив атрибут с датой
    }

    $html = new simple_html_dom();
    $html->load($out);//загружаю контент всех страниц из переменной (НЕ load_file)
    $html->save();
    //ну а дальше все как всегда
    $table = $html->find('.list_table');

    foreach ($table as $key => $value) {
        $dd = $value->attr['date'];

        foreach ($value->find('table.tb-matches tr') as $key => $tr) {

            $elem =  $tr->find('td', 0);

            if ($elem->attr['colspan'] != '7') {
                //echo $tr->find('td', 0)->plaintext;
                $resultArr[$dd][] = array(
                    'time' => $tr->find('td', 0)->plaintext,
                    'home_team' => $tr->find('td.home-team', 0)->plaintext,
                    'away_team' => $tr->find('td.away_team', 0)->plaintext,
                    'status' => trim($tr->find('td.status', 0)->plaintext),
                    'score' => $tr->find('td.score', 0)->plaintext,
                    'href' => 'http://goal24.ru' . $tr->find('td.option a', 0)->href,
                );
            }
        }
    }

[Антон Дробышев]

$html = str_get_html(file_get_contents($url)) сработало.
Жесть сколько времени убил...

Answer 2

[Юрка Блохин]

Добавь $game = new simple_html_dom(); после foreach($data as $game)

Comments

[Николай Ковалевский]

Таким образом каждый раз $game будет обнуляться. new simple_html_dom() определяет новый пустой файл класса simple_html_dom.

[Юрка Блохин]

попробуй тогда так:

foreach($data as $game) {
		$new_live = new simple_html_dom();
    	$new_live->load_file($game);
        $games[$counter][cat] = $new_live->find(".section",0)->plaintext;
        $games[$counter][time] = $new_live->find(".date",0)->plaintext;
        $temp = $new_live->find(".lshevent",0)->plaintext;
        $temp = explode(" - ", $temp);
        $games[$counter][team1] = trim ($temp[0]);
        $games[$counter][team2] = trim ($temp[1]);
        $temp = $new_live->find("a");
        foreach ($temp as $a) {
            $a=$a->href;
            if(stristr($a, "javascript:openWindow")==true){
                $temp= strstr($a, "http");
                $temp= strstr($temp, '"',1);
                $games[$counter][links] .= $temp . ";";}
            elseif(!strpos($a,"adserving")&&!strpos($a,"adsrv")&&!empty($a))
            {$games[$counter][links] .= $a . ";";}
        }
        $counter++;
    }
    return $games;

[Юрка Блохин]

Вообще для парсинга через DOM есть хорошая библиотека: DiDOM

[Николай Ковалевский]

Не помогает. Проблема не в цикле foreach($data as $game), а в многократном использовании функции. Ошибку выбивает еще на этапе $data = $live->find(".lshpanel"), т.е. до цикла внутри функции даже не доходит.

[Юрка Блохин]

Николай Ковалевский: проверь, страница точно загружается, через CURL запрос идёт?

[Николай Ковалевский]

Юрка Блохин: Первая страница загружается, вторая тоже не пустая, но при выводе второй выбивает ошибку Method simple_html_dom::__toString() must not throw an exception

[Юрка Блохин]

<?php 

include "simple_html_dom.php";

function GetRWGames($rw_cat) {
    $live = new simple_html_dom();
    usleep(300);
    $ch = curl_init("http://live.robinwidget.org/static/section" . $rw_cat . ".html");
    curl_setopt($ch, CURLOPT_TIMEOUT, 20);
    curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);
    $response = curl_exec($ch);
    $info = curl_getinfo($ch);
    curl_close($ch);
    if ($info['http_code'] == 200 && $response !== false && !empty($response)) {
        $games = array();
        $live = str_get_html($response);
        $counter = 0;
        foreach($live->find(".lshpanel") as $game) {
            $f_game = new simple_html_dom();
            $f_game = str_get_html($game->outertext);
            $games[$counter]['cat'] = $f_game->find(".section", 0)->plaintext;
            $games[$counter]['time'] = $f_game->find(".date", 0)->plaintext;
            $temp = $f_game->find(".lshevent",0)->plaintext;
            $temp = explode(" - ", $temp);
            $games[$counter]['team1'] = trim($temp[0]);
            $games[$counter]['team2'] = trim($temp[1]);
            $temp = $f_game->find("a");
            $games[$counter]['links'] = "";
            foreach ($temp as $a) {
                $a=$a->href;
                if (stristr($a, "javascript:openWindow")==true) {
                    $temp= strstr($a, "http");
                    $temp= strstr($temp, '"',1);
                    $games[$counter]['links'] .= $temp . ";";
                } elseif(!strpos($a,"adserving")&&!strpos($a,"adsrv")&&!empty($a)) {
                    $games[$counter]['links'] .= $a . ";";
                }
            }
            $counter++;
            $f_game->clear();
            unset($f_game);
        }
        return $games;
    }
    $live->clear();
    unset($live);
}
// Load HTML from a string

$rw_cats = array(35,36,37,38,39,57,59);
foreach($rw_cats as $rw_cat){
print_r(GetRWGames($rw_cat));
}

[Николай Ковалевский]

Юрка Блохин: Увы, теперь Fatal error: Uncaught Error: Call to a member function find() on boolean in D:\os\OpenServer\domains\newtest.ru\index.php:18 Stack trace: #0 D:\os\OpenServer\domains\newtest.ru\index.php(52): GetRWGames(35) #1 {main} thrown in D:\os\OpenServer\domains\newtest.ru\index.php on line 18
У вас этот код исправно работал? Мб что-то у меня.