Как извлечь URL с помощью XPath?

Question

[bravecollector]

Всем привет.
Мне нужно вытащить http://site.ru/ из следующего кода:

<div class="one">
<dl>
<dt class="two">
<span class="name">Site</span>
</dt>
<dd class="three">
<span class="js-pseudo-link" data-url="rAnDoMlEtTeRsAnDnUmBeRs" style>
<a href="http://site.ru/" class rel="nofollow" target="_blank" style> http://site.ru/ </a>
</span>
</dd>
</dl>
</div>

Делаю так: //div//dl//dd//span//a/@href
Ничего не выходит.

С XPath знакомство начал недавно, т.ч. может вопрос очевидный, но толкового ответа не находил.

Answer 1

[Алексей Сундуков]

Делаю так: //div//dl//dd//span//a/@href

Для приведенного куска кода это работающее выражение. У вас в другом проблема. Вероятнее всего причина в том, что на сайте в исходном коде страницы нет этого кода и текст подтягивается через JS по AJAX. В этом случае стоит использовать selemiun web driver.

Comments

[bravecollector]

Спасибо! Так и думал, что одним XPath дело не ограничится

[Алексей Сундуков]

В настоящее время когда на многих сайтах используются JS биоблиотеки в исходном коде страниц просто нет нужных данных. Они подгружаются позже по AJAX. Как пример В чем ошибка при запросе данных при помощи importxml в Google Docs?

В целом проще всего запустить Chome в headless режими и через selenium отправлять XPath запросы к DOM которую мы видим в браузере при открытии страницы.

Answer 2

[Rsa97]

Достаточно //a/@href
xpather.com/8rf5k32K

Comments

[bravecollector]

В моем случае не работает, скорее всего из-за js-pseudo-link

[Алексей Сундуков]

bravecollector, это хорошее работающее решение. Для приведенного кода оно рабочее. У вас просто проблема не с XPath.

Answer 3

[krypt3r]

//div/dl/dd/span/a/@href

Comments

[bravecollector]

В моем случае не работает, скорее всего из-за js-pseudo-link

[krypt3r]

bravecollector, а что именно не работает? Цель вообще какая? Собрать все ссылки с некоей страницы? Тогда достаточно запроса, что указал Rsa97.