Почему список виден на странице но отсутствует в исходном коде?

Question

[John Bjornsen]

Решил спарсить список учреждений и информацию о них с сайта
На сайте присутствует такой вот список, код которого отображается в панели разработчика:



Но когда я открываю весь исходный код страницы, элементов списка там уже нет:


Собственно проблема в том, что и парсер мой, получая страницу, не находит на ней элементы списка. Как же так получается, что в панели инструментов разработчика они отображаются, а в исходном коде нет? И как все-таки мне их выцепить парсером?

Answer 1

[DevMan]

списка не УЖЕ нет, а ЕЩЕ нет.
он подгружается аяксом запросом на https://gorzdrav.spb.ru/api/clinic_list/ после того как страница загружена браузером.
соответственно, парсер, не умеющий обрабатывать js, увидит только пустой список.

Comments

[John Bjornsen]

хм, а я в js'ках копался и не нашел аякса, но форму видел с этим адресом, да. Жаль только доступ к апи не разрешен. У меня сейчас совсем простенький парсер на php, который грузит страницу по заданному адресу и по ней уже ищет элемент, получается лучше использовать что-то типа PhantomJS?

[DevMan]

John Bjornsen, да

[John Bjornsen]

DevMan, спасибо!

[DevMan]

John Bjornsen, пожалуйста)

Answer 2

[Дмитрий]

Исходный код - это то, в каком виде странице пришла в браузер. Скрипты могут его изменять. Актуальное состояние страницы в консоли разработчика. Если парсер что-то не может найти - значит запрос не верен.

Comments

[John Bjornsen]

Скрипты ведь могут ее изменять только по какому-либо действию, например клик, или по завершению загрузки документа, а тут получается состояние после загрузки, я ничего не кликал и в одном случае один код, в другом - другой. А про запрос немного не понял, что именно вы подразумеваете под запросом? Если url запроса, то он правильный, в парсер поступает тот же исходный код, что я открываю вручную через браузер.