Как правильно отпарсить JSON во view Django?

Question

[nurzhannogerbek]

Здравствуйте! Помогите пожалуйста составить вьюху.

Использую плагин Nestable. Структуру дерево храню в сериализованном виде.

JS:

// Сохранить новую структуру дерева
$("#document-order-btn").click(function(){
	console.log($('#documents').nestable('serialize'));
	$.ajax({
		url: "order/",
		type: "post",
		contentType: 'application/json; charset= utf-8',
		dataType: 'json',
		data: JSON.stringify($('#documents').nestable('serialize')),
	});
});

В БД есть таблица со столбцами: parent_id (предок), level (уровень вложенности - начинается от нуля), tree_id (позиция - начинается с 1).

Передал через AJAX во вьюху данные, как их дальше использовать для изменения нужных полей не могу понять. Подскажите пожалуйста как правильно отпарсить данные и изменить данные модели данных.

views.py:

class DocumentOrderView(CsrfExemptMixin, JsonRequestResponseMixin, FormView):
    def post(self, request, *args, **kwargs):
        print self.request_json
        # В терменале получаю данные [{u'id': 1}, {u'id': 2, u'children': [{u'id': 3}, {u'id': 4}]}, {u'id': 5, u'children': [{u'id': 6}, {u'id': 7}, {u'id': 8}, {u'id': 9}]},}]
        return self.render_json_response({'saved': 'ok'})

Comments

[Павел Аксенов]

Как мне кажется, то такое, желательно не парсить.
Не знаю, что там на фронте происходит, но скорее всего: создание, редактирование, перемещение и удаление.
Тут лучше на каждое событие отправлять ajax'ом измененные данные.

[nurzhannogerbek]

Павел Аксенов, Здравствуйте! На данный момент делаю функционал перемещения. Редактирование и удаление в перспективе. А в чем в принципе проблема? Я как раз думал наоборот. Если при каждом перемещении ветки делать ajax запрос, во первых на БД подает нагрузка большая, во вторых пользователь может случайно сделать ошибку и не туда переместить. Поэтому я подумал целесообразнее было бы создать кнопку для сохранения новой структуры дерева по нажатию на которой только происходит сохранение новой структуры дерева. Я думаю так было бы правильней, вам так не кажется?

Answer 1

[Павел Аксенов]

NogerbekNurzhan, можно попробовать так

class DocumentOrderView(CsrfExemptMixin, JsonRequestResponseMixin, FormView):
    def post(self, request, *args, **kwargs):
        self.tree_update(None, self.request_json)
        return self.render_json_response({'saved': 'ok'})

    @staticmethod
    def tree_update(parent_id, children):
        for child in children:
            Tree.objects.filter(pk=child['id']).update(parent_id=parent_id)
            tree_update(child['id'], child.get('children', []))

Comments

[nurzhannogerbek]

Здравствуйте! Cпасибо за пример! У меня есть несколько вопросов. Подходит ли ваш метод tree_update для дерева с любым уровнем вложенности или есть ограничения? Просто у меня есть предположения, что метод не универсальный и подходит для дерева с уровнем вложенности 2. Просто в моем конкретном случаи максимальный уровень вложенности дерева равен 6. Второй вопрос как определить уровень вложенности (level). Позиция (tree_id) вроде определяется по номеру итерации.

[nurzhannogerbek]

Разобрался, ваш метод универсальный. Получается здесь происходит рекурсия. Cпасибо! C tree_id вроде все понятно, но с level немного непонятно для меня:

@staticmethod
def tree_update(parent_id, children):
    position = 0
    for child in children:
        Tree.objects.filter(pk=child['id']).update(parent_id=parent_id, tree_id=position, level=?)
        position += 1
        tree_update(child['id'], child.get('children', []))

К примеру:

A                (level=0)
B                (level=0)
    B1          (level=1)
    B2          (level=1)
C                (level=0)
    C1          (level=1)
    C2          (level=1)
        C21    (level=2)
        C22    (level=2)

[Павел Аксенов]

NogerbekNurzhan, немного переделал.
Метод обновления дерева вынес в модель дерева.
models.py

class Document(models.Model):
    parent = models.ForeignKey('self', related_name='children', null=True, blank=True)
    level = models.IntegerField(default=0)
    # другие поля

    @classmethod
    def tree_update(cls, parent_id, children, level=0):
        for child in children:
            cls.objects.filter(pk=child['id']).update(parent_id=parent_id, level=level)
            cls.tree_update(child['id'], child.get('children', []), level + 1)

views.py

class DocumentOrderView(CsrfExemptMixin, JsonRequestResponseMixin, FormView):
    def post(self, request, *args, **kwargs):
        Document.tree_update(None, self.request_json)
        return self.render_json_response({'saved': 'ok'})

Работоспособность не проверял.

Не знаю, что такое tree_id и как оно высчитывается/используется.

[nurzhannogerbek]

Павел Аксенов, tree_id это поле для сортировки, она указывает в каком порядке должны отображаться ветки. К примеру:

A              (tree_id=0, level=0)
B              (tree_id=1, level=0)
--B1         (tree_id=2, level=1)
--B2         (tree_id=3, level=1)
C              (tree_id=4, level=0)
--C1         (tree_id=5, level=1)
--C2         (tree_id=6, level=1)
----C21    (tree_id=7, level=2)
----C22    (tree_id=8, level=2)

Получается подсчитать нужно сколько элементов есть в дереве для tree_id. Проверил ваш код, уровень вложенности (level) определяется верно.

Попробовал так, но tree_id не правильный. Получается при рекурсии значение position снова начинается с position = 0. Где лучше всего установить начально значение position?

@classmethod
def tree_update(cls, parent_id, children, level=0):
    position = 0
    for child in children:
        cls.objects.filter(pk=child['id']).update(parent_id=parent_id, level=level, tree_id=position)
        position += 1
        cls.tree_update(child['id'], child.get('children', []), level + 1)

[Павел Аксенов]

NogerbekNurzhan, наверное как-то так...

@classmethod
    def tree_update(cls, parent_id, children, level=0, tree_id=0):
        for child in children:
            cls.objects.filter(pk=child['id']).update(parent_id=parent_id, level=level, tree_id=tree_id)
            tree_id = cls.tree_update(child['id'], child.get('children', []), level+1, tree_id+1)
        return tree_id

[nurzhannogerbek]

Павел Аксенов, Спасибо большое!!! Немного запутанно получилось с tree_id. C наступающим вас! =)

[Павел Аксенов]

NogerbekNurzhan, на здоровье!)

Answer 2

[Александр Глухов]

Вам нужно перебрать массив словарей, значения ключей которых могут быть также массивы со словарями?

arr = [{u'id': 1}, {u'id': 2, u'children': [{u'id': 3}, {u'id': 4}]}, {u'id': 5, u'children': [{u'id': 6}, {u'id': 7}, {u'id': 8}, {u'id': 9}]},]

for item in arr:
    if 'children' in item:
        for child in item['children']:
            print(child['id'])

Comments

[nurzhannogerbek]

Здравствуйте! Во первых проблема еще в том, что в плагине Nestable по умолчанию уровень вложенности равен 5. Можно поменять уровень вложенности в помощью настройки: maxDepth. В моем случаи стоит 3. То есть внутри children может находится еще один children. Получается я должен добавить еще один цикл в ваш код, я прав? Во вторых как далее по id изменить данные ранее упомянутых полей? Можете пожалуйста подсказать?

Document.objects.filter(id=id).update(tree_id=?, level=?, parent_id=?)

[nurzhannogerbek]

Александр Глухов в целом я понял как получить позицию и уровень вложенности, но не могу разобраться как получить parent_id. Можете подсказать еще раз пожалуйста.

position = 0
for item in self.request_json:
    Document.objects.filter(id=item['id']).update(tree_id=position, level=0, parent_id=?)
    position += 1
    if 'children' in item:
        for child in item['children']:
            Document.objects.filter(id=child['id']).update(tree_id=position, level=1, parent_id=?)
            position += 1
            if 'children' in child:
                for deep_child in child['children']:
                    Document.objects.filter(id=deep_child['id']).update(tree_id=position, level=2, parent_id=?)

[Александр Глухов]

NogerbekNurzhan, набросал рекурсивную процедуру, попробуйте более универсальный вариант

arr = [{u'id': 1}, {u'id': 2, u'children': [{u'id': 3}, {u'id': 4}]}, {u'id': 5, u'children': [{u'id': 6}, {u'id': 7}, {u'id': 8}, {u'id': 9}]},]


def tree_walk(root, key):
    # перебираю все элементы массива по индексу
    for index in range(0, len(root)):
        # здесь выполняется действие для каждого элемента массива:
        # например, сконвертируем id из int в str
        root[index]['id'] = str(root[index]['id'])
        # добавим новый атрибут
        root[index]['new_attr'] = 777

        # для удобства чтения, сразу получаю элемент массива. 
        item = root[index]
        # если в элементе массива есть ключ, который означает вложенный массив
        if key in item:
            # то, рекурсивно проваливаюсь во вложенный массив
            tree_walk(item[key], key)


if __name__ == '__main__':
    print(arr)
    tree_walk(arr, 'children')
    print(arr)

[nurzhannogerbek]

Александр Глухов, разобрался со своим кодом ранее опубликованном коде view. Нужно было добавить:

parent_id=None - для первого цикла
parent_id=item['id'] - для второго цикла
parent_id=child['id'] - для третьего цикла

Хоть он и работает, но полностью соглашусь с вами, что он не универсальный. А как применить данный ваш метод к модели данных? Немного запутался.

[Александр Глухов]

NogerbekNurzhan, видоизмененная процедура:

def tree_walk(root, key, parent=None):
    # перебираю все элементы массива по индексу
    for index in range(0, len(root)):

        # Установим родителя
        root[index]['parent'] = parent

        # для удобства чтения, сразу получаю элемент массива. 
        item = root[index]
        # если в элементе массива есть ключ, который означает вложенный массив
        if key in item:
            # то, рекурсивно проваливаюсь во вложенный массив
            tree_walk(item[key], key, item['id'])

нам нужно передавать идентификатор родителя в параметрах процедуры

[nurzhannogerbek]

Александр Глухов, поспешил в выводами. Оказывается мой код ранее упомянутый в комментарии не работает корректно. Можете глянуть пожалуйста, просто интересно что не правильно сделал. Проблема когда пытаюсь переместить к примеру B1 у которой есть дети в пустую A. B1 становится потомком A, но вот B11 почему-то становится потомком B. Проверил json, который передается в view и он верный. Кажется проблема в самом моем коде, во вьюхе. Можете пожалуйста взглянуть и сказать свой вердикт. Просто интересно узнать, что не так.

A
B
    B1
        B11
    B2

Второй вопрос касательно вашей процедуры. Я так понял вы тестируете на чистом Python без Django. Хочу протестить ее, но не могу понять как интегрировать ее в Django в своем Class Based View. Могли бы вы пояснить как в данной процедуре получать id элемента, ее позицию, id родителя, и уровень вложенности, чтобы я уже в Django мог бы менять значения:

Document.objects.filter(id=?).update(tree_id=?, level=?, parent_id=?)

[nurzhannogerbek]

Александр Глухов, С первым вопросом разобрался. Оказывается забыл добавить position += 1 в последней итерации. Второй вопрос еще актуален :)

[Александр Глухов]

NogerbekNurzhan, Я честно не знаю правильно ли я советую)) Но учитывая, что на каждом уровне вложенности Вы обращаетесь к ORM, чтобы изменить 1 запись, то я конечно посоветую Вам реорганизовать Ваш код: например, мы сразу можем обновить level=?, parent_id=? для целого диапазона элементов. Тем самым мы выполним 1 апдейт вместо нескольких и снизим нагрузку с БД, снизим вероятность взаимоблокировок конкурирующих запросов.

Я немножко обыграю задачу и пришлю Вам пример)