Как сформулировать универсальное выражение для XPath?

Question

Andrey Dugin @adugin

Как сформулировать универсальное выражение для XPath?

Пытаюсь вытащить количество просмотров с Avito. Обнаружил два варианта:

1) https://www.avito.ru/novocherkassk/sport_i_otdyh/x...

<div class="item-views">
    <!--noindex-->
    Просмотров: 
    <span class="js-show-stat pseudo-link" data-config="{ &quot;type&quot;: &quot;item&quot;, &quot;url&quot;: &quot;/items/stat/562148872&quot; }">всего&nbsp;121, сегодня&nbsp;23</span>
    <!--/noindex-->
</div>

В div присутствует span, XPath выглядит так:

//*[@id="item"]//div[@class="item-views"]/span/text()

2) https://www.avito.ru/rostov-na-donu/telefony/remes...

<div class="item-views">
    <!--noindex-->
    Просмотров: всего&nbsp;20, сегодня&nbsp;20
    <!--/noindex-->
</div>

Текст идёт сразу в div, а span отсутствует => XPath:
//*[@id="item"]//div[@class="item-views"]/text()

Как написать универсальный XPath, отрабатывающий в обоих случаях?

Вопрос задан более трёх лет назад
614 просмотров

Комментировать

Подписаться 2 Оценить Комментировать

Решения вопроса 2

3 комментария

1 комментарий

Andrey Dugin @adugin Автор вопроса

Действительно, работает. Спасибо!

>>> from grab import Grab
>>> g = Grab()
>>> url1 = 'https://www.avito.ru/novocherkassk/sport_i_otdyh/xiaomi_mi_band_562148872'
>>> url2 = 'https://www.avito.ru/rostov-na-donu/telefony/remeshok_dlya_miband_raznotsvetnyy_613526149'
>>> xpath = '//div[@class="item-views"]'
>>> g.go(url1)
<grab.document.Document object at 0x02E4BAE0>
>>> g.doc.select(xpath)[0].text()
u'\u041f\u0440\u043e\u0441\u043c\u043e\u0442\u0440\u043e\u0432: \u0432\u0441\u0435\u0433\u043e 167, \u0441\u0435\u0433\u043e\u0434\u043d\u044f 10'
>>> g.go(url2)
<grab.document.Document object at 0x030100C0>
>>> g.doc.select(xpath)[0].text()
u'\u041f\u0440\u043e\u0441\u043c\u043e\u0442\u0440\u043e\u0432: \u0432\u0441\u0435\u0433\u043e 51, \u0441\u0435\u0433\u043e\u0434\u043d\u044f 18'

Написано более трёх лет назад

Пригласить эксперта

Ответы на вопрос 1

7 комментариев

Andrey Dugin @adugin Автор вопроса

Не очень как-то:

>>> xpath = '(//*[@id="item"]//div[@class="item-views"] | //*[@id="item"]//div[@class="item-views"]/span)/text()'
>>> g.doc.select(xpath).text()
u'\u041f\u0440\u043e\u0441\u043c\u043e\u0442\u0440\u043e\u0432:'
>>> g.doc.select(xpath)
<selection.selector_list.SelectorList object at 0x02E42B98>

Написано более трёх лет назад

Sergey Gologuzov @ser_gos

А если убрать родительский div с id="item"?
(//div[@class="item-views"] | //div[@class="item-views"]/span)/text()

Написано более трёх лет назад
Sergey Gologuzov @ser_gos

А код, кстати, на чем написан?

Написано более трёх лет назад
Andrey Dugin @adugin Автор вопроса

Sergey Gologuzov: Код на Python 2.7

Написано более трёх лет назад

Sergey Gologuzov @ser_gos

А как такое решение без хитрых Xpath:

#! /usr/bin/python
import xml.etree.ElementTree as ET

tree = ET.parse('avito_data.xml')
root = tree.getroot()
for e in root.findall('.//div[@class="item-views"]'):
    if e.find('span') is not None:
        print e.text + e.find('span').text
    else:
        print e.text

Файл avito_data.xml:

<?xml version="1.0"?>
<html>
    <body>
        <div id="root">
            <div class="g_30 g_eof">
                <div class="item-views"><!--noindex-->Просмотров: всего&#160;20, сегодня&#160;20<!--/noindex--></div>
            </div>

            <div class="g_30 g_eof">
                <div class="item-views"><!--noindex-->Просмотров: <span class="js-show-stat pseudo-link" data-config='{ "type": "item", "url": "/items/stat/562148872" }'>всего&#160;170, сегодня&#160;13</span><!--/noindex--></div>
            </div>
        </div>
    </body>
 </html>
<code>

Написано более трёх лет назад

Sergey Gologuzov @ser_gos

Источники:
stackoverflow.com/questions/8692/how-to-use-xpath-...
https://docs.python.org/2/library/xml.etree.elemen...

Написано более трёх лет назад

Sergey Gologuzov @ser_gos

Результат:

gologuzov@gologuzov-Satellite-L855:~/work/temp$ ./test.py 
Просмотров: всего 20, сегодня 20
Просмотров: всего 170, сегодня 13

Написано более трёх лет назад

Ваш ответ на вопрос

Войдите, чтобы написать ответ

Похожие вопросы

HTML

+1 ещё

Простой
Что не так с вёрсткой кнопок?
- 1 подписчик
- 14 февр.
- 195 просмотров
2

ответа
HTML

+1 ещё

Простой
Как сменить цвет символа без тега и класса?
- 1 подписчик
- 14 февр.
- 119 просмотров
3

ответа
HTML

+1 ещё

Простой
Как сделать независимые друг от друга блоки?
- нет подписчиков
- 13 февр.
- 97 просмотров
0

ответов
HTML

+1 ещё

Простой
Не выставляются карточки с помощью gap так как надо?
- 1 подписчик
- 12 февр.
- 64 просмотра
1

ответ
JavaScript

+2 ещё

Средний
Как запретить оверлею загораживать отдельно взятый элемент? Как выбить/поднять/отменить дочерний элемент из контекста наложения?
- 2 подписчика
- 12 февр.
- 203 просмотра
2

ответа
JavaScript

+2 ещё

Простой
Как вшить игру на godot в существующий сайт?
- 1 подписчик
- 11 февр.
- 84 просмотра
2

ответа
JavaScript

+2 ещё

Простой
Можно ли анимировать падения круга из-за верхней границы инпута и превращения в лупу?
- 1 подписчик
- 11 февр.
- 148 просмотров
2

ответа
HTML

+2 ещё

Средний
Есть ли разница реализации доступности веб компонента внутри его Shadow DOM или на самом теге Custom Element?
- 2 подписчика
- 10 февр.
- 58 просмотров
1

ответ
XML

+1 ещё

Простой
Как подключить langpack к Izpack?
- 1 подписчик
- 10 февр.
- 17 просмотров
0

ответов
HTML

+1 ещё

Средний
Как центрировать div в зависимости от ширины дочерних элементов?
- 1 подписчик
- 09 февр.
- 90 просмотров
1

ответ
Показать ещё Загружается…

Fullstack Developer под Wordpress

Future Search

от 90 000 до 150 000 ₽

JavaScript FullStack разработчик

Rocket • Смоленск

от 80 000 до 130 000 ₽

Специалист по работе с клиентами (Customer Support)

Designmodo

До 750 $

Написание нейросети на Python или C++ для анализа ЭКГ сигналов

16 февр. 2025, в 11:06

15000 руб./за проект

Поправить View Django для загрузки данных об игре

16 февр. 2025, в 11:05

1000 руб./за проект

Скопировать ТГ бота.

16 февр. 2025, в 09:26

15000 руб./за проект

Answer 1 · 2015-07-27 21:23:37

Andrey Dugin @adugin Автор вопроса

Похоже, что вот такой способ работает. Не уверен в корректности:
//*[@id="item"]//div[@class="item-views"]|/span

Ответ написан более трёх лет назад

3 комментария

Answer 2 · 2015-07-29 11:42:53

Не нужно насиловать DOM-дерево, подойдет в обоих случаях такой вариант

$views = $xpath->query('//div[@class="item-views"]');
echo $views->item(0)->nodeValue; // независимо от наличия span тут будет значение

На выходе будет значение «Просмотров: всего 120, сегодня 5», так что если нужны будут чистые цифры, то preg_match() в помощь (если речь о php, например).

Answer 3 · 2015-07-27 22:19:48

Sergey Gologuzov @ser_gos

Привет!

Попробуй так:

(//*[@id="item"]//div[@class="item-views"] | //*[@id="item"]//div[@class="item-views"]/span)/text()

Вроде работает...

Ответ написан более трёх лет назад

7 комментариев

Как сформулировать универсальное выражение для XPath?

Войдите, чтобы написать ответ

Минуточку внимания

Войдите на сайт