Как спарсить определеный текст с помощью lxml?

Question

[Василий Теркин]

Ребята проблема.
Нужно спарсить текст статьи на одном сайте, статья имеет следующую структуру html:

<div>
	<p>Нужный текст</p>
	<p>Нужный текст</p>
	<aside>Ненужный элемент</aside>
	Нужный текст
	<p>Нужный текст</p>
	<p>Нужный текст</p>	
</div>

Использую python+lxml
Дело в том, что походу сайт криво сверстан, и нужный мне текст текст расположен без тега, но строго после тега aside.
Как мне отловить весь нужный текст?
Пробовал удалять ненужные ноды и парсить через xpath("//div//text()") но появляется все, кроме того который после тега aside.
Есть какие-то идеи?

Answer 1

[Roman Fov]

Вот так можно

/div/aside/following-sibling::text()[normalize-space(.) != '']

Comments

[Василий Теркин]

Спасибо, это помогло.
Только не особо понял выражение [normalize-space(.) != '']
Что можно почитать для более глубокого понимания xpath?

[Roman Fov]

/div/aside/following-sibling::text() выбирает в данном случае 3 элемента.

count(/div/aside/following-sibling::text())
выдаёт 3

Это верное поведение тк в xml их действительно 3
1 - "Нужный текст"
2 - " " (два пробела перед "Нужный текст" на шестой строке)
3 - " " (два пробела перед "Нужный текст" на седьмой строке)

[normalize-space(.) != ''] - удаляет пробелы у элемента и проверяет строку на пустоту.

Почитать для понимания можно спецификацию.
Хотя ответы на stackoverflow гораздо интереснее. Каждый раз думаешь: "О, нифига как можно было!"

[Василий Теркин]

Спасибо, это очень пояснительно.

Answer 2

[Andrey Dugin]

Можно просто скопировать нужный XPath прямо в браузере:

Comments

[Василий Теркин]

Нет нельзя.
Контент всегда разный.

Answer 3

[Alexej Simakov]

https://stackoverflow.com/questions/14093250/viewi...

Comments

[Василий Теркин]

В моем случае это не сработает.
Правильный вариант уже написали.