Как добавить в db sql строки из xml документа на django?

Question

[sortfact333]

У меня есть xml документ с чужого сайта и мне нужно обновить свою db
Но я впервые имею дело с xml файлами и не знаю какие модэли создавать внутри models.py, и как
их обновлять.
может кто нибудь мне объяснить как это сделать

Answer 1

[deepblack]

Читаешь, смотришь примеры работы с xml:
https://lxml.de/tutorial.html#the-parse-function
Разбираешься, дальше переходишь к своему xml файлу.
Пробуешь на нём.

Далее создаешь вьюху в которой парсишь переданный xml, соответственно модели данных, затем сохраняешь.
если xml файл большой, сохраняй его на сервере и обрабатывай в отдельном воркере/потоке.
Передав имя файла через очередь.

не знаю какие модэли создавать внутри models.py, и как
их обновлять.

Как ты не знаешь, что ты тогда собрался сохранять в БД?

Comments

[sortfact333]

я имею в веду что. обычно перед добавлением данных нужно назвать модель и ее поля но xml файле я не знаю названий и куда добавлять значения в db. Точьнее сказать как он будет синхронизироваться между собой.

[deepblack]

sortfact333, открой файл, посмотри структуру данных - что хранится в этом файле.
Можешь скопировать часть в текстовый файл, почисть от тегов (убери их, не нарушая структуру). Придумай модель (или модели) для тех данных которые тебе нужны, напиши её.
Т.е. тебе нужно сопоставить содержимое файла с моделью.
Синхронизироваться оно будет так как ты напишешь логику работы, криво напишешь- криво заработает.

[sortfact333]

Например у меня есть вот такой файл

<shop>
	<name>SHOP</name>
	<currencies>
		<currency id="RUB" rate="74.0000000000"/>
		<currency id="USD" rate="1.0000000000"/>
	</currencies>

	<categories>
		<category id="25" parentId="19">Одежды</category>
		<category id="28" parentId="19">Машины</category>
		<category id="29" parentId="19">Спорт</category>
	</categories>

	<offers>
		<offer available="true" group_id="1245" id="6549">
			<price>405</price>
			<old_price>675</old_price>
			<currencyId>USD</currencyId>
			<name>Платье красное</name>
			<description><![CDATA[<p>Стильное платье выполнено из натуральной ткани в яркой цветочной расцветке </p>]]></description>
			<categoryId>25</categoryId>
			<param name="Вид">Платья</param>
			<param name="Размер">XS</param>
		</offer>
	</offers>
</shop>

И такие модели

class Categorie(models.Model):
	name = models.CharField('categorie_name', max_length=50)
	
class Currency(models.Model):
	name = models.CharField('currency_name', max_length=3)
	price = models.IntegerField('currency_price')
	

	
class Param(models.Model):
	name = models.CharField('name', max_length=50)
	type = models.CharField('type', max_length=50)


class Offer(models.Model):
	price = models.IntegerField('offer_price')
	old_price = models.IntegerField('offer_old_price')
	
	currencyId = models.ForeignKey(Currency)
	categoryId = models.ForeignKey(Categorie)
	name = models.CharField('offer_name', max_length=50)
	description = models.CharField('offer_description', max_length=50)
	
	param = models.ManyToManyField(Param, blank=True)

Как мне тогда экспортировать xml в свои модели? Неужели никто до меня не занимался подобным? Нет ли каких то готовых модулей для django? Просто не хотелось бы заново изобретать велосипед. И что делать если после экспорта в db xml файл обновился и теперь снова нужно его экспортировать. Я имею веду обновлять уже существующее данные в db а не создавать дубликаты одних и тех же полей. И как это скажется на производительности если файл большой? Я имею в веду например когда я меняю файл в zip архиве то после обрабатывается весь архив и это занимает кучу ресурсов и времени даже когда изменения не значительны. Будет ли чтото подобное происходить если в большом xml файле изменится только одна строка

[deepblack]

Нет ли каких то готовых модулей для django?

https://pypi.org/project/django-xml/
Вот только он не сможет загрузить твой xml без допиливания.

И что делать если после экспорта в db xml файл обновился и теперь снова нужно его экспортировать. Я имею веду обновлять уже существующее данные в db а не создавать дубликаты одних и тех же полей.

У тебя в файле есть айдишники, сохраняй их в БД, затем при повторном импорте находи запись и обновляй её.

И как это скажется на производительности если файл большой?

Если грамотно всё сделать, то нормально скажется.

Будет ли чтото подобное происходить если в большом xml файле изменится только одна строка

Тебе придётся пройтись по всему файлу и заново обработать все записи.

[sortfact333]

Andrew D., Как я понял по примеру код переводит из sql в xml а мне нужно наоборо. Можете подсказать какой нибудь простой пример чтобы я понимал принцып работы?
Примерно вот так.

from models import *
from djxml import xmlmodels
xml = xmlmodels.open('test.xml')
categories = xml.get('shop/categories')
for x in categories:
	cat = Categorie(name=x.text(), id=x.attr('id'))
	cat.save()

[deepblack]

sortfact333, да, тут я немного не то скинул.
Но моя первая рекомендация насчёт lxml в силе.