Как работать с xpath в lxml Python?

Question

[Mark Adams]

Почему не работает код:

from lxml import html
import requests

page = requests.get('http://myip.ru')
tree = html.fromstring(page.content)

print tree.xpath('/html/body/div/div[1]/table/tbody/tr[2]/td')

Выдает пустой лист [].

Answer 1

[Dimonchik]

вот такое, с номерами
div[1] tr[2]
плохая практика, нужно уметь без них
это во вторых

а во первых, где ты в коде view-source:myip.ru DOM дерево нашел?
там же сплошной JS

Comments

[Dimonchik]

не, lxml JS не исполняет, JQuery тоже не

[bumerang_47]

Какая практика хорошая?

[Dimonchik]

bumerang_47,

, нужно уметь без них

[bumerang_47]

`xpath` нормальный инструмент для определеных задач.
Альтернатива, это `get_element_by_*`, если сраница нормальна промаркерованна.
Парсить сплошной тест страниц маразм.
Какие альтернативы для скраппинга Вы можете предложить, если даёте подобные (не конструктивные) советы

[Dimonchik]

bumerang_47, сорри братан

все что могу посоветовать - перечитать

я писал про номера

а если ты в xpath без номеров не можешь , то мы с тобой на разных планетах

[bumerang_47]

Мне xpath требуется раз в год, могу тонкостей не знать, поэтому интересуюсь.
Если ты про отсудствие магических чисел, переменные и циклы это ясно и по контексту вопроса слабо уместно.
При этом я допускаю структуру страницы где до элемента без индексов не добраться. Если есть другие способы, видать это тайные знания избранных с другой планеты.

[Dimonchik]

такой структуры нет
везде добираются выражением и операторами

Answer 2

[Grigoriy457]

Можно использовать подгружаемую страничку index_small.php: https://myip.ru/index_small.php. А дальше её распарсить