Парсить страницу после выполнения скриптов?

Question

[Давид]

Здравствуйте. Пишу парсер для себя, чтобы он оповещал о интересующих меня проектах по определенных условиях (цена, ключевые слова заголовка и другое). Данные беру с fl точка ру. Не знаю разрешено ли здесь обсуждение данной темы? Кто-то делал подобное? Как достать всю опубликованную информацию?

Comments

[Андрей]

Прошу простить меня, но мне не ясна суть вопроса, а точнее, что именно у вас не выходит? Если не знаете, как получить исходный код страницы для дальнейшей обработки, то это функция file_get_contents, как пример. Но мне кажется, что это вы и так знаете. Так что же именно у вас не выходит?

[Давид]

Андрей: Да, вопрос немного сформулировал не четко. Не получалось спарсить цену проекта, описание и другое... но парсил на странице всех проектов, там не получал цену (она то ли скриптом подсталяется, то ли не отдавалась для моего юсер агента) но на странице одного заказа данные не спрятаны и пока все получается

[Андрей]

Давид: Я этот сайт никогда не использовал, можете ли дать ссылку на конкретную страницу, где именно не получается спарсить?

[Давид]

Андрей: https://www.fl.ru/projects/

Answer 1

[Abdula Magomedov]

А не легче зарегистрироваться там, подписаться на новости и выбрать категории, которые тебя интересуют, и настроить оповещение на e-mail

Answer 2

[Андрей]

Нашёл вот такое на примере с ценой

<script type="text/javascript">document.write('<div class="b-post__price b-post__price_padleft_10 b-post__price_padbot_5 b-post__price_fontsize_15 b-post__price_bold b-post__price_float_right"> 150&nbsp;000&nbsp;р./месяц </div>');</script>

Соответственно остальное добавляется точно так же. То есть надо парсить не html, а то, что находится в document.write. Так можно будет спарсить инфу там, где список проектов.

Но я бы собрал все ссылки на проекты, а потом распарсил бы уже внутренние страницы самих проектов.

Comments

[Давид]

"Но я бы собрал все ссылки на проекты, а потом распарсил бы уже внутренние страницы самих проектов." - да, я сделал. Но сейчас смотрю авторизация не проходит, вы парсили без авторизации?

[Андрей]

Да, без авторизации. Или там без авторизации не вся инфа показывается?

[Давид]

Андрей: вся, я просто планировал, писать ответ автоматически... но єто уже другой вопрос)