Как получить Iframe с DOMDocument?

Question

Us59 @Us59

PHP

Как получить Iframe с DOMDocument?

Я делаю Curl запрос, получают в результате html текст страницы (var_dump выводит успешно содержимое):
$result = curl_exec($ch);
Далее, мне нужно получить Iframe ->src из содержимого html.
Вот что я делаю:

$dom = new DOMDocument();
$dom->loadHTML($result);
$iFrame = $dom->getElementsByTagName('iframe')->item(0);
$src = $iFrame->getAttribute('src');
echo $src;

Результат запроса заканчивается предупреждениями и ошибкой:

Warning: DOMDocument::loadHTML(): Tag footer invalid in Entity, line: 275 in
Warning: DOMDocument::loadHTML(): Tag section invalid in Entity, line: 277
и
Fatal error: Call to a member function getAttribute() on null in

Как я понимаю, в getAttribute приходит пустое значение, поэтому выдается ошибка.

Вопрос: Почему туда приходит пустота, ведь html страница загружается. также протестировал код через онлайн php инструменты, подставив html страницу в $result ручками - все работает успешно.

Попробовал распечатать вот так:

$doc = new DOMDocument();
$doc->loadHTML($result);
var_dump($doc);

Результат:

spoiler

в textContent я не вижу html тегов, только script как я понимаю...

Вопрос задан более трёх лет назад
179 просмотров

Комментировать

Подписаться 1 Простой Комментировать

Решения вопроса 1

14 комментариев

Us59 @Us59 Автор вопроса
В онлайн инструментах, когда я загружаю html теги ручками и удаляю script все вот такое работает:
$dom = new DOMDocument(); $dom->loadHTML($html); $xpath = new DOMXpath($dom); foreach($xpath->query('//iframe') as $iframe) { echo $iframe->getAttribute('src'); }

На практике в моем скрипте - нет, по всей видимости неправильно загружается html в $dom->loadHTML($html);
Возможно его нужно обрабатывать как-то перед добавлением? Скорее всего не нравится что я загружаю туда еще скрипты помимо html...
Написано более трёх лет назад
A N @AlekseyNikulin

Us59, из документации DOMDocument::loadHTML() :

Несмотря на то, что некорректный HTML обычно успешно загружается, данная функция может генерировать ошибки уровня E_WARNING при обнаружении плохой разметки. Для обработки данных ошибок можно воспользоваться функциями обработки ошибок libxml.

Написано более трёх лет назад
Us59 @Us59 Автор вопроса
A N, в итоге все равно неясно, они предлагают отключить ошибки? - Не помогает.

А как обрабатывать - я не нашел примеров никаких, только
if (!$doc->load('file.xml')) { foreach (libxml_get_errors() as $error) { // обработка ошибок здесь } libxml_clear_errors(); }

обработка ошибок здесь.. как? примеров не нашел.

Вот одна из ошибок которая возникает насколько я понимаю:

И как я ее могу исправить?
Написано более трёх лет назад
A N @AlekseyNikulin
Us59, будет полезно заглянуть сюда

$dom->loadHTML($html, LIBXML_NOWARNING | LIBXML_NOERROR);
Написано более трёх лет назад
Us59 @Us59 Автор вопроса
A N, и что это дает? Отключает предупреждения и ошибки? Ну не знаю, вставил ваш код, как показывало предупреждения так и показывает.
$dom = new DOMDocument(); $dom->loadHTML($result, LIBXML_NOWARNING | LIBXML_NOERROR); var_dump($dom);

вар дамп не отображает html текста, только js как я понимаю.
Написано более трёх лет назад
A N @AlekseyNikulin

Us59, если необходимости в js нет на странице, которую пытаешься парсить, то все скрипты можно попросту удалить preg_replace. В противном случае, нужно в деталях рассмотреть этот скрипт. Возможно даже проблема может крыться в том, что в теле js есть символ не в utf-8.

Написано более трёх лет назад
Us59 @Us59 Автор вопроса
A N, была мысль удалить через preg_replace, но удаляется ВСЕ содержимое. т.е в начале есть script и в конце. он берет script начальный и удаляет все до самого конца. включая html.
Пример:
<div> какой то текст </div> <script>Код JS</script> <div> какой то текст </div> <div> какой то текст </div> <div> какой то текст </div> <script>Код JS</script>

Т.е он удаляет все средние div.
Видимо, мне нужен правильный preg_replace который удалит только внутренности script и циклом очистит все scripts.
Написано более трёх лет назад
Us59 @Us59 Автор вопроса

A N, loadHTML просто нив какую не грузит html теги, даже в самом начале которые.

Написано более трёх лет назад

A N @AlekseyNikulin

Us59,

Т.е он удаляет все средние div.
Видимо, мне нужен правильный preg_replace который удалит только внутренности script и циклом очистит все scripts.

preg_replace("/<script\b[^>]*>(.*?)<\/script>/isu", "", $html);

Us59,

loadHTML просто нив какую не грузит html теги, даже в самом начале которые.

<?php
ob_start();
?>
<html>
<head>

</head>
<body>
<div>sdfadsfdsfdsfadsf</div>
<div>464s6da4f6d5s4f5d6s4fa64</div>
<script type="text/javascript">
    var p = 0;
    var t = 0;
</script>
<span>opopopopopopoop</span>
<script type="text/javascript">
    var u = 0;
    var m = 0;
</script>
</body>
</html>
<?php
$html = ob_get_clean();

$h = preg_replace("/<script\b[^>]*>(.*?)<\/script>/isu", "", $html);

$dom = new DOMDocument();
$dom->loadHTML($h);
$xPath = new DOMXPath($dom);
$elements = $xPath->query("//*");

if (!is_null($elements)) {
    foreach ($elements as $element) {
        echo "<br/>[" . $element->nodeName . "]";

        $nodes = $element->childNodes;
        foreach ($nodes as $node) {
            echo $node->nodeValue . "\n";
        }
    }
}

print_r($elements);

Вот результат:

<br/>[html]

sdfadsfdsfdsfadsf
464s6da4f6d5s4f5d6s4fa64

opopopopopopoop


<br/>[head]<br/>[body]

sdfadsfdsfdsfadsf


464s6da4f6d5s4f5d6s4fa64



opopopopopopoop



<br/>[div]sdfadsfdsfdsfadsf
<br/>[div]464s6da4f6d5s4f5d6s4fa64
<br/>[span]opopopopopopoop
DOMNodeList Object
(
    [length] => 6
)
<html>
<head>

</head>
<body>
<div>sdfadsfdsfdsfadsf</div>
<div>464s6da4f6d5s4f5d6s4fa64</div>

<span>opopopopopopoop</span>

</body>
</html>

Если не смотреть на весь мусор и шлак, то все прекрасно отрабатывает.

Написано более трёх лет назад

Us59 @Us59 Автор вопроса

A N, я взял онлайн php создал переменную $html =' сюда засунул большой кусок html и script кода';

$html = preg_replace("'<script[^>]*?>.*?</script>'si","", $result);

var_dump($text);
и вижу нужный html.

По факту в скрипте получаю через curl запрос данные html также делаю preg_replace и далее..:

$dom = new DOMDocument();
$dom->loadHTML($html);
var_dump($dom);

и вар dump выводит мне фигню вот эту:

spoiler

object(DOMDocument)#3 (34) {
  ["doctype"]=>
  string(22) "(object value omitted)"
  ["implementation"]=>
  string(22) "(object value omitted)"
  ["documentElement"]=>
  string(22) "(object value omitted)"
  ["actualEncoding"]=>
  string(5) "utf-8"
  ["encoding"]=>
  string(5) "utf-8"
  ["xmlEncoding"]=>
  string(5) "utf-8"
  ["standalone"]=>
  bool(true)
  ["xmlStandalone"]=>
  bool(true)
  ["version"]=>
  NULL
  ["xmlVersion"]=>
  NULL
  ["strictErrorChecking"]=>
  bool(true)
  ["documentURI"]=>
  NULL
  ["config"]=>
  NULL
  ["formatOutput"]=>
  bool(false)
  ["validateOnParse"]=>
  bool(false)
  ["resolveExternals"]=>
  bool(false)
  ["preserveWhiteSpace"]=>
  bool(true)
  ["recover"]=>
  bool(false)
  ["substituteEntities"]=>
  bool(false)
  ["nodeName"]=>
  string(9) "#document"
  ["nodeValue"]=>
  NULL
  ["nodeType"]=>
  int(13)
  ["parentNode"]=>
  NULL
  ["childNodes"]=>
  string(22) "(object value omitted)"
  ["firstChild"]=>
  string(22) "(object value omitted)"
  ["lastChild"]=>
  string(22) "(object value omitted)"
  ["previousSibling"]=>
  NULL
  ["attributes"]=>
  NULL
  ["ownerDocument"]=>
  NULL
  ["namespaceURI"]=>
  NULL
  ["prefix"]=>
  string(0) ""
  ["localName"]=>
  NULL
  ["baseURI"]=>
  NULL
  ["textContent"]=>
  string(984) "Sign In


    
    
    
    
        
    
    
        
        
            
        
        
            
        
        
    

    
    
    
    
        
    
    
    
    



	
	

    



    


        @media only screen and (min-device-width: 481px) {
            .wrapper {
                margin-bottom: -66px;
                padding-bottom: 66px;
            }
        }

        @media only screen and (max-device-width: 480px) {
            .wrapper {
                margin-bottom: -122px;
                padding-bottom: 122px;
            }
        }
    
        
                




            
            
                

                
                    
                        Privacy Policy
                    
                    
                        Terms of Use
                    
                    
                
            
        
"
}

Написано более трёх лет назад

A N @AlekseyNikulin

Us59, Тебе мало что будет видно в явном виде. Это не stdClass. Используй соответсвующие методы доступа к атрибутам и потомкам. Пример я тебе уже показал.

Написано более трёх лет назад
Us59 @Us59 Автор вопроса

A N, Как их использовать, если loadHTML не загружает html... и при обращении к атрибутам он просто выдает, мол вы обращаетесь к пустоте..

Написано более трёх лет назад
A N @AlekseyNikulin

Us59, Попробуй вычитать объект, как тебе уже показал. var_dump не даст полной картины.

Написано более трёх лет назад
Us59 @Us59 Автор вопроса

A N, проблема в том, что iframe генерируется js скриптами, и когда я вывожу var_dump в браузере он успешно генерируется, а если я просто сохраняю html результат в файл, то мы не видим iframe потому что его не сгенерировали js скрипты, и чтобы он появился нужно выполнять javascripts и потом уже вытаскивать iframe src.
Этот вопрос обсуждаю уже тут

Написано более трёх лет назад