Как получить Правильный порядок в pydantic-xml?

Question

[Владимир Куц]

Пытаюсь распарсить xml следующего вида (лишние элементы выкинул чтобы получить минимально воспроизводимый кусок кода):

xml_text = '''<Periods>
    <Year>01.01.2023 0:00:00</Year>
    <Date_from>18.02.2023 0:00:00</Date_from>
    <Year>01.01.2023 0:00:00</Year>
    <Date_from>30.05.2023 0:00:00</Date_from>
    <Year>01.01.2023 0:00:00</Year>
    <Date_from>06.04.2023 0:00:00</Date_from>
    <Year>01.01.2023 0:00:00</Year>
    <Date_from>28.02.2023 0:00:00</Date_from>
    <Year>01.01.2023 0:00:00</Year>
    <Date_from>19.06.2023 0:00:00</Date_from>
    <Year>01.01.2023 0:00:00</Year>
    <Date_from>07.06.2023 0:00:00</Date_from>
</Periods>'''

с помощью кода:

import pprint
from typing import List

from pydantic_xml import BaseXmlModel, element
from pydantic_xml.element.element import SearchMode


class Periods(BaseXmlModel, tag='Periods', search_mode=SearchMode.UNORDERED):
    year: List[str] = element(tag='Year', default_factory=list)
    date_from: List[str] = element(tag='Date_from', default_factory=list)


data = Periods.from_xml(xml_text)
pprint.pprint(data.date_from)

При этом если выбран search_mode=SearchMode.UNORDERED, то результат такой:

['30.05.2023 0:00:00',
 '28.02.2023 0:00:00',
 '18.02.2023 0:00:00',
 '19.06.2023 0:00:00',
 '06.04.2023 0:00:00',
 '07.06.2023 0:00:00']

Как видно - порядок дат неверен.
Хорошо - задаем search_mode=SearchMode.ORDERED:
['07.06.2023 0:00:00']
не все даты выводятся.
Такая же история с search_mode=SearchMode.STRICT:
['18.02.2023 0:00:00']

Как таки распарсить все элементы в правильном порядке следования?

Comments

[Алан Гибизов]

А не может ли быть, что при преобразовании данных с ключом ordered слишком умный pydantic где-то преобразует тип данных и вследствие этого теряет некоторые экземпляры, считая их тип невалидным (не str, например).

Ну других идей сходу нет.

Как это отследить… ну я бы пробовал давать на вход разные комбинации и анализировать результаты.
Или код pydantic читать… вдруг там чо…

[Владимир Куц]

Алан Гибизов, нет - тут всего два элемента. pydantic их парсит все в случае UNORDERED - но порядок элементов случайный получается...

ну я бы пробовал давать на вход разные комбинации и анализировать результаты. Или код pydantic читать… вдруг там чо…

Да вот пробую... В код pydantic сильно не лез - думал что может на поверхности что-то что не учел...
Конечно можно залезть и переписать метод from_xml по своему усмотрению - но тогда и смысла от библиотеки pydantic-xml не вижу ) Можно с таким же успехом просто на pydantic сделать, добавив нужный метод к BaseModel

[Влад Григорьев]

Владимир Куц, ну там история что сам по себе pydantic не писал свой парсер, а просто поверх накручивает свои модели, тут или задать тип datetime и до сортировать по нему.

ибо поломанная сортировка приходит уже в него от парсера.

[Владимир Куц]

Влад Григорьев, там проблема не только в этом поле. Я просто удалил часть полей.
Там что-то вроде

<Date_from>..
<Date_to>..
<Status>..
<Rate>..

Беда в том что поля Status, Rate и прочее - тоже в хаотичном порядке возвращаются - поэтому я не могу просто по date_from отсортировать.

Answer 1

[Taulan Khatuaev]

from pydantic import BaseModel
from typing import List

class Period(BaseModel):
    year: str
    date_from: str

# Используем эту модель для парсинга каждого отдельного периода

# Используем lxml для парсинга xml
from lxml import etree

root = etree.fromstring(xml_text)
periods = []
for i in range(0, len(root), 2):
    year = root[i].text
    date_from = root[i + 1].text
    periods.append(Period(year=year, date_from=date_from))

pprint.pprint(periods)

<Periods>
    <Year>01.01.2023 0:00:00</Year>
    <Date_from>18.02.2023 0:00:00</Date_from>
    <Year>01.01.2023 0:00:00</Year>
    <Date_from>28.02.2023 0:00:00</Date_from>
    <Year>01.01.2023 0:00:00</Year>
    <Date_from>30.05.2023 0:00:00</Date_from>
    <Year>01.01.2023 0:00:00</Year>
    <Date_from>06.04.2023 0:00:00</Date_from>
    <Year>01.01.2023 0:00:00</Year>
    <Date_from>19.06.2023 0:00:00</Date_from>
    <Year>01.01.2023 0:00:00</Year>
    <Date_from>07.06.2023 0:00:00</Date_from>
</Periods>

Comments

[Владимир Куц]

Безусловно - можно так сделать. Но хотелось бы это сделать в рамках pydantic-xml.