Как правильно создать схему документа в MongoDB?

Question

[eellazy]

Всем привет!
Пытаюсь написать схему документа в MongoDB. Количество записей на данный момент - 8 млн. Ориентировочно их будет около 50 млн. Выбор пал на MongoDB так, как не знаю точной структуры
Появилось несколько вопросов на которые не смог найти ответы. Хоть и перелопатил большое количество статей.

1. У меня есть JSON разметка, но некоторых значений в ключах там попросту нет. Возможно они появиться позже. Стоит ли хранить пустые значения, значения null или же попросту не добавлять этот ключ?

2. В одном из полей указывается категория к которому принадлежит тот или иной контакт. Лучше это связать с ключом категории или же писать название категории в значение ключа?

3. Насколько правильно в коллекции хранить документы разной структуры?

Пример моего json

json = {
    'name': '',
    'date_birth': '',
    'documents': [
        {
            'type': '',
            'seria': '',
            'text': ''
        }
    ],
    'phone': '',
    'email': [],
    'country': '',
    'bio': '',
    'category': [],
    'status_control': [
        {
            'status': '',
            'date': '',
            'cause': ''
        }
    ],
    'status': '',
    'work': [
        {
            'address': '',
            'company_name': '',
            'post': '',
            'period': ''
        }
    ],
    'address': [
        {
            'address': '',
            'index': ''
        }
    ],
    'social_network': [
        {
            'network': '',
            'link': '',
            'login': '',
            'name': '',
            'text': ''
        }
    ],
    'date': {
        'date_added': '',
        'date_edit': ''
    },
    'comment': ''
}

Comments

[FanatPHP]

"поставил больному клизму, поскольку не знаю точно, чем он болен - то ли насморк, то ли сифилис".

Кто читает хабр, тот в цирке не смеется

Идея сначала узнать структуру, а потом городить огород, в голову не приходила?

[eellazy]

FanatPHP, как ни странно но приходила. Поэтому выбор пал именно сюда

[FanatPHP]

Во-первых, ты сюда пришел уже после того, как "выбрал" бд.
Во-вторых, структуру своей бд надо узнавать не у постороннего дяди на Хабре, а у своего заказчика.
И после этого делать нормальную бд, а не "монго, потому что не знаю, что делаю"

[Александр Романов]

> 1. У меня есть JSON разметка, но некоторых значений в ключах там попросту нет. Возможно они появиться позже. Стоит ли хранить пустые значения, значения null или же попросту не добавлять этот ключ?

Без разницы, просто надо учитывать это при запросах:

db.test.insertOne({name: null})
db.test.insertOne({name: "Alexo"})
db.test.insertOne({key: "value"})

db.test.count({name: {$exists: true}}) -> 2 {name: null}, {name: "Alexo"}
db.test.count({name: null}) -> 2 -> {name: null}, {key: "value"}
db.test.count({name: {$ne: null}}) -> 1 {name: "Alexo"}

> 2. В одном из полей указывается категория к которому принадлежит тот или иной контакт. Лучше это связать с ключом категории или же писать название категории в значение ключа?

Если я вас правильно понял, то лучше писать документ с ID и именем, category: {_id: category_id, name: category_name}. Id для операций, имя для отображения, что бы не делать join лишний раз

> 3. Насколько правильно в коллекции хранить документы разной структуры?

В общем случае совсем не правильно, но бывает по разному

[pcdesign]

Идея сначала узнать структуру, а потом городить огород, в голову не приходила?

А это бывает не всегда возможно. Структура приходит из ООО "Мышкин и Шишкин". Сегодня они одно поле добавили, а завтра другое убрали. И при этом ничего не должно сломаться.

Для таких вот задач мне нравится mongoengine с динамическими документами и динамическими полями, это позволяет работать с любыми json с любой неопределенной структурой.
https://docs.mongoengine.org/guide/defining-docume...

[FanatPHP]

pcdesign, если задача по быстрому срубить денег с Мышкина и Шишкина, то да, это очень удобно. И пусть потом занимаются воспроизводством сами.

А если раз в жизни потом самому заниматься поддержкой этого лупанария, то все эти идеи очень быстро вылетят из головы