Как конвертировать много xml файлов в csv или excel?

Question

[PythonJun1188]

Есть много (10.000 + xml файлов, в которых присутствуют документы , в среднем около 100 документов.) Состав документа : дата, название организации, инн. Задача преобразовать все 10.000 Xml файлов и вытянуть данные по всем документам. То есть на выходе будет 1.000.000 строк…
Как это сделать на питоне? Смотрел видео индусов, читал форумы зарубежные, ничего не получается. С питоном только начал знакомство. Хочу сделать, чтобы код тянул xml из директории (папки) и конвертировал в другую папку, но без привязки имени файла, иначе геммор.

Comments

[DevMan]

разбиваешь задачу на этапы.
пробуешь самостоятельно выполнить каждый этап.
при затыке задаешь конкретный вопрос.

а не ПАМАГИИТЕ!!1

[DevMan]

edward_freedom, приглашаю как знатока.

[xotkot]

Объясните дураку как это сделать на питоне, я уже неделю пытаюсь и безуспешно.

в баше, а вернее используя утилиты командной строки, это можно сделать в одну строку + цикл по файлам
допустим есть файл text1.xml

<?xml version='1.0' standalone='yes'?>
<file>
	<field >
		<инн>инн1</инн>
		<дата>дата1</дата>
		<название_организации>имя 1</название_организации>
	</field >
	<field >
		<дата>дата2</дата>
		<название_организации>имя 2</название_организации>
		<инн>инн2</инн>
	</field >
</file>

используем xq (yq)

xq -r '.file.field | (map(keys) | add | unique) as $cols | map(. as $row | $cols | map($row[.])) as $rows | $cols, $rows[] | @csv' test1.xml > test1.csv

можно даже немного упростить если дополнительно еще использовать утилиту dasel

xq '.file.field' test1.xml |dasel -r json -w csv > test1.csv

результат test1.csv

"дата","инн","название_организации"
"дата1","инн1","имя 1"
"дата2","инн2","имя 2"

не питон но может пригодится )

[PythonJun1188]

xotkot, отличное решение. Сейчас проверяю. А как цикл запустить , чтобы из директории конвертировал без привязки к имени файла, а то 12 тысяч файлов…

[xotkot]

PythonJun1188,
в простом варианте(на bash) это будет выглядеть так:

dir_in=/tmp/xmldir
dir_out=/tmp/csvdir
for i in "$dir_in"/*.xml; do 
	xq '.file.field' "$i" |dasel -r json -w csv > "${dir_out}/$(name=${i##*/};echo -n ${name%.xml})".csv
done

где исходные xml файлы лежат в папке $dir_in без вложений, а результат попадает в папку $dir_out, причем имена файлом будут совпадать но будет иметь соответствующе расширение. Например:
/tmp/xmldir/test1.xml ---> /tmp/csvdir/test1.csv

Answer 1

[AVKor]

Смотрел видео индусов

Надо было на хинди. По-английски они не раскрывают секретов кодерства.

Судя по описанию, структура простая, так что распарсить исходные файлы и записать в CSV.

Comments

[DevMan]

шоб распарить нужно сначала получить их список.
а это сложна.