Как организовать хранение путей для json-файла?

Question

[bankinobi]

Добрый день.

Необходимо распарсить json-файл, вытащить из него 130 полей.
Рабочий вариант отрабатывает без ошибок.

data_item = json.load(infile)
    print(data_item['data']['variables']['startupProcessInfo']['iin'])

Как организовать "хранение" этих 130 путей, что б не загромождать скрипт?

Comments

[Виталий Архипов]

А как потом будут использоваться эти вытащенные данные?

[bankinobi]

Виталий Архипов, в базу пишутся.

[Виталий Архипов]

bankinobi, мне кажется нужно придумать некое описание (хоть в том же JSON), сопоставляющее поля в файле и в базе.

В общем случае, ничего выдумывать не нужно, использовать вот прям так, как вы сейчас пишете.

[bankinobi]

Виталий Архипов, Вы меня не поняли. Проблема в следующем:

for fles in onlyfiles:
   data_item = json.load(fles)
   inn_v = (data_item['data']['variables']['startupProcessInfo']['iin'])
   inn2_v = (data_item['data']['variables']['startupProcessInfo']['iin2'])  
   inn3_v = (data_item['data']['variables']['startupProcessInfo']['iin3'])
    ...
   inn130_v = (data_item['data']['variables']['startupProcessInfo']['iin130'])
   statement = 'insert into ....'
   json_curr.execute(statement, row)

Вот приблизительно как у меня сейчас работает.
А хотелось бы организовать "определение" - отдельно, "реализация" - отдельно.
Например:
конфиг файл json_def.conf

"['data']['variables']['startupProcessInfo']['iin']"
"['data']['variables']['startupProcessInfo']['iin2']"
"['data']['variables']['startupProcessInfo']['iin3']"
...
"['data']['variables']['startupProcessInfo']['iin130']"

и основной скрипт:

for fles in onlyfiles:
   data_item = json.load(fles)
      inn_arr = []
      for path_str in 'json_def':
          try:
                tmp_str = data_item(path_str )
                inn_arr.append(data_item(path_str))
           except:
                 print("error")
      statement = 'insert into json_tbl () value (inn_arr)'
      json_curr.execute(statement)

Чтото в этом роде.

[Виталий Архипов]

bankinobi, да понятно все, но зачем вам заморачиваться и выдумывать собственный формат, если вам нужно просто отделить один код от другого, используйте python. Просто вынесите парсинг в отдельную функцию.

[Elvis]

bankinobi, Если пути статичны и не изменяются, то проще их организовать в массив, а после обычным for перебрать и вытаскивать нужные значения. все значения можно так же собрать в массив или же сразу инсертить в базу.

[bankinobi]

Виталий Архипов, отдельная функция мало поможет. Надо будет всю эту простыню переносить в эту функцию или 130 раз вызывать ее в случае, если функция обрабатывает по 1 пути. Это если я Вас правильно понял.

[bankinobi]

Elvis, вот так:

#!/usr/bin/env python
# -*- coding: utf-8 -*-

import json, os
from os.path import isfile, join

path_arr = ["['data']['variables']['startupProcessInfo']['iin']",
         "['data']['piid']",
         "['data']['executionState']",
         "['data']['creationTime']"]

onlyfiles = [f for f in os.listdir('in') if isfile(join('in', f))]
print(onlyfiles)
for fles in onlyfiles:
    i = 0
    infile = open(os.path.join('in', fles), 'r')
    data_item = json.load(infile)
    while i < len(path_arr):
        print(data_item(path_arr[i]))
        i += 1

Выходит ошибка

Traceback (most recent call last):
  File "path_arr.py", line 19, in <module>
    print(data_item(path_arr[i]))
TypeError: 'dict' object is not callable

[Elvis]

json = {'data':{'variables':{'startupProcessInfo':{'iin': 'first'}}, 'piid': 'second', 'executionState': 'third', 'creationTime': 'fourth'}}
path_arr = ["['data']['variables']['startupProcessInfo']['iin']",
         "['data']['piid']",
         "['data']['executionState']",
         "['data']['creationTime']"]

for x in path_arr:
    json_iter = json
    path = x[2:-2].split("']['")
    for p in path:
        json_iter = json_iter[p]
    print(json_iter)

Вывод:

========================== RESTART: E:/Python/1.py ==========================
first
second
third
fourth

Как пример. изменить можешь на свой код. вот тут я спрашивал как строку передать как путь.

[bankinobi]

Elvis, Спасибо.

[Elvis]

bankinobi, оформлю как отдельный ответ, если помог, то отметьте как решенный.

Answer 1

[Elvis]

json = {'data':{'variables':{'startupProcessInfo':{'iin': 'first'}}, 'piid': 'second', 'executionState': 'third', 'creationTime': 'fourth'}}
path_arr = ["['data']['variables']['startupProcessInfo']['iin']",
         "['data']['piid']",
         "['data']['executionState']",
         "['data']['creationTime']"]

for x in path_arr:
    json_iter = json
    path = x[2:-2].split("']['")
    for p in path:
        json_iter = json_iter[p]
    print(json_iter)

Вывод:

========================== RESTART: E:/Python/1.py ==========================
first
second
third
fourth

Как пример. изменить можешь на свой код. вот тут я спрашивал как строку передать как путь.