Как работать с xpath в lxml Python?

Question

[Mark Adams]

Почему не работает код:

from lxml import html
import requests

page = requests.get('http://myip.ru')
tree = html.fromstring(page.content)

print tree.xpath('/html/body/div/div[1]/table/tbody/tr[2]/td')

Выдает пустой лист [].

Answer 1

[Dimonchik]

вот такое, с номерами
div[1] tr[2]
плохая практика, нужно уметь без них
это во вторых

а во первых, где ты в коде view-source:myip.ru DOM дерево нашел?
там же сплошной JS

Comments

[Dimonchik]

не, lxml JS не исполняет, JQuery тоже не

[bumerang_47]

Какая практика хорошая?

[Dimonchik]

bumerang_47,

, нужно уметь без них

[bumerang_47]

`xpath` нормальный инструмент для определеных задач.
Альтернатива, это `get_element_by_*`, если сраница нормальна промаркерованна.
Парсить сплошной тест страниц маразм.
Какие альтернативы для скраппинга Вы можете предложить, если даёте подобные (не конструктивные) советы

[Dimonchik]

bumerang_47, сорри братан

все что могу посоветовать - перечитать

я писал про номера

а если ты в xpath без номеров не можешь , то мы с тобой на разных планетах

[bumerang_47]

Мне xpath требуется раз в год, могу тонкостей не знать, поэтому интересуюсь.
Если ты про отсудствие магических чисел, переменные и циклы это ясно и по контексту вопроса слабо уместно.
При этом я допускаю структуру страницы где до элемента без индексов не добраться. Если есть другие способы, видать это тайные знания избранных с другой планеты.

[Dimonchik]

такой структуры нет
везде добираются выражением и операторами

Answer 2

[Sergey]

Вывод будет пустая строка т.к. содержимое подгружается спомощью jquery

import lxml.html as lh

page = lh.parse('http://myip.ru')
my_div = page.xpath(".//title")[0].text_content().encode('utf-8')
print my_div
# Ваш IP-адрес. Узнать IP адрес, определить IP-адрес, определить свой IP
div_name = 'ipcontent'
my_div = page.xpath(".//div[@id=%s]" %div_name)
print my_div
# []

чтобы получить результат работы jquery нужно использовать Selenium

Comments

[tmin10]

А если точнее, надо запросить страницу https://myip.ru/index_small.php

Answer 3

[Grigoriy457]

Можно использовать подгружаемую страничку index_small.php: https://myip.ru/index_small.php. А дальше её распарсить