Как ускорить эту выборку?

Question

[pcdesign]

Структура

my_struct = 
{
	"groups":[
		{
			"zones":[
				{
					"items":[
						{
							"id":"5664",
							"qty":1
						},
						{
							"id":"4556",
							"qty":3
						},
						{
							"id":"4638",
							"qty":1
						}
					]
				}
			]
		},
		{
			"zones":[
				{
					"items":[
						{
							"id":"3980",
							"qty":5
						}
					]
				},
				{
					"items":[
						{
							"id":"3982",
							"qty":5
						}
					]
				}
			]
		}
	]
}

Я использовал https://github.com/akesterson/dpath-python

Вот код, он работает как надо, отдает словарь вида _id : qty

>>> import dpath.util
>>> path = 'groups/*/zones/*/items/*'  
>>> obj = dpath.util.search(my_struct, path, yielded=True)  
>>> res = {v.get('id'): v.get('qty') for (_, v) in obj}
>>> res
{'5664': 1, '4556': 3, '4638': 1, '3980': 5, '3982': 5}

Но при больших объемах тормозит.
Есть ли какие-нибудь быстрые варианты?

Comments

[devdb]

Может тогда проще без этой библиотеки - ручками перебирать элементы словаря? В приведённом случае это совсем не сложно. Естественно, что интерпретатор псевдо-xpath будет подтормаживать.
И Вы уверены, что тормозит именно при обработке, а не, например, импорте данных в словарь большого объёма?

[pcdesign]

devdb, да руками я пока не перебирал, попробую, но скорее всего это будет экономия на спичках. Мне нужно что-то более радикальное. Тормозит, когда нужно 5000+ получить словарей.

Answer 1

[Y_Koval]

Мультипроцессинг

Comments

[pcdesign]

Если не найду какую-нибудь готовую сишную библиотеку, то придется :)