Как сформулировать универсальное выражение для XPath?

Question

Andrey Dugin @adugin

Как сформулировать универсальное выражение для XPath?

Пытаюсь вытащить количество просмотров с Avito. Обнаружил два варианта:

1) https://www.avito.ru/novocherkassk/sport_i_otdyh/x...

<div class="item-views">
    <!--noindex-->
    Просмотров: 
    <span class="js-show-stat pseudo-link" data-config="{ &quot;type&quot;: &quot;item&quot;, &quot;url&quot;: &quot;/items/stat/562148872&quot; }">всего&nbsp;121, сегодня&nbsp;23</span>
    <!--/noindex-->
</div>

В div присутствует span, XPath выглядит так:

//*[@id="item"]//div[@class="item-views"]/span/text()

2) https://www.avito.ru/rostov-na-donu/telefony/remes...

<div class="item-views">
    <!--noindex-->
    Просмотров: всего&nbsp;20, сегодня&nbsp;20
    <!--/noindex-->
</div>

Текст идёт сразу в div, а span отсутствует => XPath:
//*[@id="item"]//div[@class="item-views"]/text()

Как написать универсальный XPath, отрабатывающий в обоих случаях?

Вопрос задан более трёх лет назад
606 просмотров

Комментировать

Подписаться 2 Оценить Комментировать

Решения вопроса 2

3 комментария

1 комментарий

Andrey Dugin @adugin Автор вопроса

Действительно, работает. Спасибо!

>>> from grab import Grab
>>> g = Grab()
>>> url1 = 'https://www.avito.ru/novocherkassk/sport_i_otdyh/xiaomi_mi_band_562148872'
>>> url2 = 'https://www.avito.ru/rostov-na-donu/telefony/remeshok_dlya_miband_raznotsvetnyy_613526149'
>>> xpath = '//div[@class="item-views"]'
>>> g.go(url1)
<grab.document.Document object at 0x02E4BAE0>
>>> g.doc.select(xpath)[0].text()
u'\u041f\u0440\u043e\u0441\u043c\u043e\u0442\u0440\u043e\u0432: \u0432\u0441\u0435\u0433\u043e 167, \u0441\u0435\u0433\u043e\u0434\u043d\u044f 10'
>>> g.go(url2)
<grab.document.Document object at 0x030100C0>
>>> g.doc.select(xpath)[0].text()
u'\u041f\u0440\u043e\u0441\u043c\u043e\u0442\u0440\u043e\u0432: \u0432\u0441\u0435\u0433\u043e 51, \u0441\u0435\u0433\u043e\u0434\u043d\u044f 18'

Написано более трёх лет назад

Пригласить эксперта

Ответы на вопрос 1

7 комментариев

Andrey Dugin @adugin Автор вопроса

Не очень как-то:

>>> xpath = '(//*[@id="item"]//div[@class="item-views"] | //*[@id="item"]//div[@class="item-views"]/span)/text()'
>>> g.doc.select(xpath).text()
u'\u041f\u0440\u043e\u0441\u043c\u043e\u0442\u0440\u043e\u0432:'
>>> g.doc.select(xpath)
<selection.selector_list.SelectorList object at 0x02E42B98>

Написано более трёх лет назад

Sergey Gologuzov @ser_gos

А если убрать родительский div с id="item"?
(//div[@class="item-views"] | //div[@class="item-views"]/span)/text()

Написано более трёх лет назад
Sergey Gologuzov @ser_gos

А код, кстати, на чем написан?

Написано более трёх лет назад
Andrey Dugin @adugin Автор вопроса

Sergey Gologuzov: Код на Python 2.7

Написано более трёх лет назад

Sergey Gologuzov @ser_gos

А как такое решение без хитрых Xpath:

#! /usr/bin/python
import xml.etree.ElementTree as ET

tree = ET.parse('avito_data.xml')
root = tree.getroot()
for e in root.findall('.//div[@class="item-views"]'):
    if e.find('span') is not None:
        print e.text + e.find('span').text
    else:
        print e.text

Файл avito_data.xml:

<?xml version="1.0"?>
<html>
    <body>
        <div id="root">
            <div class="g_30 g_eof">
                <div class="item-views"><!--noindex-->Просмотров: всего&#160;20, сегодня&#160;20<!--/noindex--></div>
            </div>

            <div class="g_30 g_eof">
                <div class="item-views"><!--noindex-->Просмотров: <span class="js-show-stat pseudo-link" data-config='{ "type": "item", "url": "/items/stat/562148872" }'>всего&#160;170, сегодня&#160;13</span><!--/noindex--></div>
            </div>
        </div>
    </body>
 </html>
<code>

Написано более трёх лет назад

Sergey Gologuzov @ser_gos

Источники:
stackoverflow.com/questions/8692/how-to-use-xpath-...
https://docs.python.org/2/library/xml.etree.elemen...

Написано более трёх лет назад

Sergey Gologuzov @ser_gos

Результат:

gologuzov@gologuzov-Satellite-L855:~/work/temp$ ./test.py 
Просмотров: всего 20, сегодня 20
Просмотров: всего 170, сегодня 13

Написано более трёх лет назад

Ваш ответ на вопрос

Войдите, чтобы написать ответ

Войти через центр авторизации

Похожие вопросы

HTML

+1 ещё

Простой
При загрузке картинки этот блок не имеет размера, как исправить?
- 1 подписчик
- час назад
- 25 просмотров
0

ответов
HTML

+1 ещё

Простой
Как кодировать кириллицу в поле data?
- 1 подписчик
- 7 часов назад
- 39 просмотров
1

ответ
HTML

+1 ещё

Простой
Как в теге select один символ сделать другого цвета?
- 1 подписчик
- 13 часов назад
- 84 просмотра
1

ответ
HTML

+1 ещё

Простой
Как поставить элементы в одну строку и выровнять их?
- 1 подписчик
- вчера
- 78 просмотров
1

ответ
HTML

+1 ещё

Простой
Почему не работает pattern на input?
- 1 подписчик
- вчера
- 85 просмотров
2

ответа
HTML

+2 ещё

Простой
Как подкрасить 2 блока в разные цвета по всей ширине в дочернем Blade-шаблоне?
- 1 подписчик
- вчера
- 57 просмотров
2

ответа
HTML

+2 ещё

Средний
Неправильное отображение верстки во всех браузерах локально на компьютере, в чем может быть проблема?
- 1 подписчик
- вчера
- 81 просмотр
1

ответ
JavaScript

+2 ещё

Простой
Как сделать так, чтобы звезда падала только при скролле страницы?
- 1 подписчик
- вчера
- 89 просмотров
0

ответов
PHP

+1 ещё

Простой
Парсинг XML yandex?
- 1 подписчик
- вчера
- 93 просмотра
0

ответов
JavaScript

+3 ещё

Средний
Какие есть способы организовать редкое добавление статей на сайт?
- 1 подписчик
- 17 апр.
- 116 просмотров
1

ответ
Показать ещё Загружается…

Frontend-разработчик (React)

ДАЛЕЕ

от 130 000 ₽

Тестировщик-стажёр

ITooLabs • Тула

от 35 000 до 40 000 ₽

Fullstack PHP Developer

Smapse Education

от 40 000 до 65 000 ₽

Разработка VST-плагина

19 апр. 2024, в 20:43

20000 руб./за проект

Нарисовать баннер для интернет-магазина

19 апр. 2024, в 20:35

500 руб./в час

Разработать несистемный алерт

19 апр. 2024, в 20:11

500 руб./за проект

Answer 1 · 2015-07-27 21:23:37

Andrey Dugin @adugin Автор вопроса

Похоже, что вот такой способ работает. Не уверен в корректности:
//*[@id="item"]//div[@class="item-views"]|/span

Ответ написан более трёх лет назад

3 комментария

Answer 2 · 2015-07-29 11:42:53

Не нужно насиловать DOM-дерево, подойдет в обоих случаях такой вариант

$views = $xpath->query('//div[@class="item-views"]');
echo $views->item(0)->nodeValue; // независимо от наличия span тут будет значение

На выходе будет значение «Просмотров: всего 120, сегодня 5», так что если нужны будут чистые цифры, то preg_match() в помощь (если речь о php, например).

Answer 3 · 2015-07-27 22:19:48

Sergey Gologuzov @ser_gos

Привет!

Попробуй так:

(//*[@id="item"]//div[@class="item-views"] | //*[@id="item"]//div[@class="item-views"]/span)/text()

Вроде работает...

Ответ написан более трёх лет назад

7 комментариев

Как сформулировать универсальное выражение для XPath?

Войдите, чтобы написать ответ

Минуточку внимания

Войдите на сайт