Как правильно распарсить xml файл в Python?

Question

[gadzhi15]

Имеется XML файл. Приведу его кусок:

<eventsList>
<event>
        <id>374648e7-0c33-403f-bec5-c580fcf9fc8b</id>
        <date>2016-03-30T21:11:33.163+03:00</date>
        <type>deletedPrintedItems</type>
        <departmentId>3</departmentId>
        <attribute>
            <name>comment</name>
            <value>sadasd</value>
        </attribute>
        <attribute>
            <name>user</name>
            <value>65d90cba-a421-4e4d-9d3e-14ddd6907280</value>
        </attribute>
        <attribute>
            <name>openTime</name>
            <value>Wed Mar 30 21:07:53 MSK 2016</value>
        </attribute>
        <attribute>
            <name>tableNum</name>
            <value>2</value>
        </attribute>
        <attribute>
            <name>session</name>
            <value>1.000000000</value>
        </attribute>
        <attribute>
            <name>orderNum</name>
            <value>4.000000000</value>
        </attribute>
        <attribute>
            <name>reason</name>
            <value>Со списанием</value>
        </attribute>
        <attribute>
            <name>receiptsSum</name>
            <value>0E-9</value>
        </attribute>
        <attribute>
            <name>dishes</name>
            <value>Салат Оливье</value>
        </attribute>
        <attribute>
            <name>isBanquet</name>
            <value>0E-9</value>
        </attribute>
        <attribute>
            <name>withWriteoff</name>
            <value>1.000000000</value>
        </attribute>
        <attribute>
            <name>penalty</name>
            <value>0E-9</value>
        </attribute>
        <attribute>
            <name>rowCount</name>
            <value>1.000000000</value>
        </attribute>
        <attribute>
            <name>numGuests</name>
            <value>4.000000000</value>
        </attribute>
        <attribute>
            <name>auth</name>
            <value>65d90cba-a421-4e4d-9d3e-14ddd6907280</value>
        </attribute>
        <attribute>
            <name>orderSumAfterDiscount</name>
            <value>0E-9</value>
        </attribute>
        <attribute>
            <name>terminal</name>
            <value>49c7d0ba-a469-517f-0153-61a7bcb29ccb</value>
        </attribute>
        <attribute>
            <name>sum</name>
            <value>70.000000000</value>
        </attribute>
        <attribute>
            <name>method</name>
            <value>Списание за счет заведения</value>
        </attribute>
        <attribute>
            <name>orderId</name>
            <value>e55c392f-ea8a-4c96-aecd-2bd0b6ffd2cd</value>
        </attribute>
        <attribute>
            <name>waiter</name>
            <value>5daf4283-ae8c-4a95-83e5-052fb4a33570</value>
        </attribute>
    </event>
    <event>
        <id>61d3cb56-74dd-4d20-86ae-217c37f15f01</id>
        <date>2016-03-30T21:11:41.090+03:00</date>
        <type>frontLogout</type>
        <departmentId>3</departmentId>
        <attribute>
            <name>user</name>
            <value>65d90cba-a421-4e4d-9d3e-14ddd6907280</value>
        </attribute>
        <attribute>
            <name>session</name>
            <value>1.000000000</value>
        </attribute>
        <attribute>
            <name>terminal</name>
            <value>49c7d0ba-a469-517f-0153-61a7bcb29ccb</value>
        </attribute>
    </event>
</eventsList>

Мне нужно найти событие deletedPrintedItems в теге type. Если оно есть, то нужно вывести также содержимое некоторых attribute (например где содержится attribute/name(comment) значени value)

Написал код на Python

from lxml import etree
tree = etree.parse('xml_iiko.xml')
nodes = tree.xpath('/eventsList/event/type')
for node in nodes:
    if node.text == 'deletedPrintedItems':

но дальше не знаю как реализовать все что нужно. Кто может натолкнуть или показать в документации куда двигаться?

Answer 1

[abcd0x00]

Выбирает нужные события в документе.
В нужных событиях выбирает нужные атрибуты.
В нужных атрибутах выбирает нужный элемент.

Код

>>> import lxml.etree
>>> 
>>> text = """\
... <eventsList>
... <event>
...         <id>374648e7-0c33-403f-bec5-c580fcf9fc8b</id>
...         <date>2016-03-30T21:11:33.163+03:00</date>
...         <type>deletedPrintedItems</type>
...         <departmentId>3</departmentId>
...         <attribute>
...             <name>comment</name>
...             <value>sadasd</value>
...         </attribute>
...         <attribute>
...             <name>user</name>
...             <value>65d90cba-a421-4e4d-9d3e-14ddd6907280</value>
...         </attribute>
...         <attribute>
...             <name>openTime</name>
...             <value>Wed Mar 30 21:07:53 MSK 2016</value>
...         </attribute>
...         <attribute>
...             <name>tableNum</name>
...             <value>2</value>
...         </attribute>
...         <attribute>
...             <name>session</name>
...             <value>1.000000000</value>
...         </attribute>
...         <attribute>
...             <name>orderNum</name>
...             <value>4.000000000</value>
...         </attribute>
...         <attribute>
...             <name>reason</name>
...             <value>Со списанием</value>
...         </attribute>
...         <attribute>
...             <name>receiptsSum</name>
...             <value>0E-9</value>
...         </attribute>
...         <attribute>
...             <name>dishes</name>
...             <value>Салат Оливье</value>
...         </attribute>
...         <attribute>
...             <name>isBanquet</name>
...             <value>0E-9</value>
...         </attribute>
...         <attribute>
...             <name>withWriteoff</name>
...             <value>1.000000000</value>
...         </attribute>
...         <attribute>
...             <name>penalty</name>
...             <value>0E-9</value>
...         </attribute>
...         <attribute>
...             <name>rowCount</name>
...             <value>1.000000000</value>
...         </attribute>
...         <attribute>
...             <name>numGuests</name>
...             <value>4.000000000</value>
...         </attribute>
...         <attribute>
...             <name>auth</name>
...             <value>65d90cba-a421-4e4d-9d3e-14ddd6907280</value>
...         </attribute>
...         <attribute>
...             <name>orderSumAfterDiscount</name>
...             <value>0E-9</value>
...         </attribute>
...         <attribute>
...             <name>terminal</name>
...             <value>49c7d0ba-a469-517f-0153-61a7bcb29ccb</value>
...         </attribute>
...         <attribute>
...             <name>sum</name>
...             <value>70.000000000</value>
...         </attribute>
...         <attribute>
...             <name>method</name>
...             <value>Списание за счет заведения</value>
...         </attribute>
...         <attribute>
...             <name>orderId</name>
...             <value>e55c392f-ea8a-4c96-aecd-2bd0b6ffd2cd</value>
...         </attribute>
...         <attribute>
...             <name>waiter</name>
...             <value>5daf4283-ae8c-4a95-83e5-052fb4a33570</value>
...         </attribute>
...     </event>
...     <event>
...         <id>61d3cb56-74dd-4d20-86ae-217c37f15f01</id>
...         <date>2016-03-30T21:11:41.090+03:00</date>
...         <type>frontLogout</type>
...         <departmentId>3</departmentId>
...         <attribute>
...             <name>user</name>
...             <value>65d90cba-a421-4e4d-9d3e-14ddd6907280</value>
...         </attribute>
...         <attribute>
...             <name>session</name>
...             <value>1.000000000</value>
...         </attribute>
...         <attribute>
...             <name>terminal</name>
...             <value>49c7d0ba-a469-517f-0153-61a7bcb29ccb</value>
...         </attribute>
...     </event>
... </eventsList>
... """
>>> 
>>> doc = lxml.etree.fromstring(text)
>>> events = doc.xpath(r'//event/type[text() = "deletedPrintedItems"]/..')
>>> 
>>> for event in events:
...     comments = event.xpath(r'.//attribute/name[text() = "comment"]'
...                            r'/../value/text()')
...     print(comments)
... 
['sadasd']
>>>

Comments

[gadzhi15]

Спасибо. Пойду пробовать)

[gadzhi15]

а если событий "deletedPrintedItems" будет не одно, а несколько, в таком случае как быть?

[gadzhi15]

Я еще ввел переменную date, в которую записывается время события. если значение времени больше предыдущего, то выводить информацию. Если нет, то сканировать дальше файл

[abcd0x00]

gadzhi15:

а если событий "deletedPrintedItems" будет не одно, а несколько, в таком случае как быть?

Ну, они все в events попадут и в цикле будут рассматриваться по очереди.

[abcd0x00]

Вот у тебя есть сложный документ, тебе надо его упростить - то есть выбрать из него какие-то определённые части. Всё ненужное отбрасывается, потом каждую такую часть тебе надо снова упростить - то есть выбрать из неё какие-то определённые части. Всё ненужное отбрасывается и всё повторяется. Так ты упрощаешь данные, пока не получишь те, которые нужны.

[gadzhi15]

abcd0x00: Спасибо. все получилось с вашими советами. Есть теперь еще одна задачка. Скрипт нужно выполнять через каждые n минут. Ну или поставлю time.sleep(5). XML файл в течении дня дополняется. То есть один раз я вывел событие, то при следующем распрасивании XML уже его выводить не надо. В каждом событие есть параметр data. Логично что нужно записывать значения data в переменную, и потом сравнивать. Если новое new_data больше old_data, то вывести нужную информацию и произвести присваивание old_data = new_data. Теперь возникает проблема, что python не хранит значений переменных после выполнения скрипта. Есть мысль записывать значение даты в файл, а потом считывать оттуда и сравнить. Есть более элегантное решение?

[abcd0x00]

gadzhi15:
Это нужно
1. Выбрать все события.
2. Выбрать у выбранных событий даты.
Порядок и количество дат совпадают с порядком и количеством событий.
4. Прочитать сохранённые даты из отдельного файла.
5. Удалить из выбранных дат совпавшие с прочитанными из файла.
При удалении даты, удалять и соответсвующее событие из списка выбранных событий.
6. Оставшиеся события обработать известным способом.
После обработки события его дата должна добавляться в файл с сохранёнными датами.

[gadzhi15]

abcd0x00: Так и сделал.

[gadzhi15]

abcd0x00: еще такой вопрос. Например кроме события deletedPrintedItems у меня будет еще одно событие. Допустим я присвою ему имя events2. возможно ли в рамках одного цикла for искать сразу эти два события

[gadzhi15]

abcd0x00: tree = etree.parse('xml_iiko.xml')
eventList = tree.xpath('/eventsList')
tree.xpath(r'//event/type[text() = "deletedPrintedItems"]/..')
events_deletedPrintedItems = tree.xpath(r'//event/type[text() = "deletedPrintedItems"]/..')
print events_deletedPrintedItems
for event in eventList:
print "1"
if tree.xpath(r'//event/type/text()/..') == 'deletedPrintedItems':
print "Da"
else:
print "no"

[abcd0x00]

gadzhi15:

возможно ли в рамках одного цикла for искать сразу эти два события

Надо для каждого события и его обработки делать отдельную функцию. В одном цикле делать нельзя, потому что при ста разных событиях (у тебя пока два) всё сломается.

[gadzhi15]

abcd0x00: Не совсем понял.Например мне нужно найти deletedPrintedItems и frontLogout. Если использовать один цикл For который будет искать по всему файлу и в этом же цикле проверять условием ( если событие в файле = нужному событию, то распарсивать) это событие. Возможно ли сделать так или же как вы сказали использовать функцию. Вы имели ввиду написать функцию цикла?

[abcd0x00]

gadzhi15:
1. Делаешь первую функцию, которая принимает документ и обрабатывает событие deletedPrintedItems и возвращает результат.
У этого события свой файл с датами.
2. Делаешь вторую функцию, которая принимает документ и обрабатывает событие frontLogout и возвращает результат.
У этого события свой файл с датами.
3. Формируешь документ.
4. Подаёшь документ в первую функцию и сохраняешь её результат, куда надо.
5. Подаёшь документ во вторую функцию и сохраняешь её результат, куда надо.

Так у тебя есть две функции, которые независимо друг от друга умеют работать со своими событиями индивидуальным образом.

Answer 2

[iegor]

Проитерируйтесь по event, в каждом найдите type, если устраивает, в этом event извлеките нужный attribute.