В чем преимущества формата JSON(b) в PostgreSQL?

Question

[Виктор]

Хотелось бы услышать специалистов по PostgreSQL, в чем существенные преимущества работы с форматом JSON(b) кроме того что структуру записей JSON(b) может быть различной?
Сравнительно со стандартной таблицей разбитой на поля и такие же индексы.

Знаю что JSON не хранит информацию о типе данных, плюс этого - экономия места?
К расмотрению берем PostgreSQL версии >= 9.4

1.К примеру мне нужно работать с таблицей логов в 1-10 миллиардов записей.
Сколько места сэкомомиться при JSON(b) по сравнению с обычной таблицей? (укажите в процентах)
2.Производительность SELECT,INSERT,UPDATE,DELETE отличается или нет ?
Если да, то подробно опишите как и в чем.
3.Какие еще плюсы и минусы хранения в JSON(b) по сравнению с простой таблицей?

Comments

[Станислав Макаров]

Так вам надо сравнить JSON(b) с JSON или с хранением в обычной таблице? Сначала вы говорите про JSON, потом про таблицу.

[Виктор]

>Сравнительно со стандартной таблицей разбитой на поля и такие же индексы.

Answer 1

[lega]

Сколько места сэкомомиться

- В json идет доп. расход места на хранение имен ключей, структуру и синтаксис, (числовые) значения в строковом представлении.
+ Экономия может быть за счет того что нет резерва для строк фиксированного размера.
+ Так же экономия может быть за счет редких полей, которые нужны не в каждой строке таблицы.
Так же json можно хорошо сжать, но поддерживает ли это psql...
Результат зависит от типа данных (и метода хранения).

2.Производительность

В теории должна быть ниже т.к. кроме выделения строки в таблице, нужно выделять место под этот json + его валидация.

3.Какие еще плюсы и минусы

+ Можно хранить сложные структуры данных
+ Позволяет делать прозрачные миграции (развитие проекта без миграций)
- Требует больше места по сравнению с простыми колонками (числа/даты)

Comments

[Виктор]

В интернете пишут что использования noSQL (в postgresql это таблица с колонкой данных в json(b)) решает задачи большого хранения данных и быстрого доступа к большому числу записей. Так что это не так? Почему тогда столько ажиотажа вокруг noSQL если это решение не лучше чем простоая таблица?

[Виктор]

Струкутра логов не меняются, в чем лучше хранить логи по Вашему мнению: JSON(b) или стандартная таблица? Записей 1-10 миллиардов

[lega]

> решает задачи большого хранения данных и быстрого доступа к большому числу записей. Так что это не так?

Скорее это про noSQL, а не про PostgreSQL, про шардинг, масштабирование и т.п.

> если это решение не лучше чем простоая таблица?

У каждого есть свои плюсы минусы, в общем случае noSQL дает больше гибкости.

[Виктор]

lega: www.opennet.ru/opennews/art.shtml?num=40690

[lega]

Виктор: Выбросте этот тест, его уже обсасывали на хабре, это не тест, а "полный треш"

[Виктор]

lega: ок

Answer 2

[sim3x]

json тебе нужен только если у тебя постоянно меняется структура лога
Если у тебя есть конечное число типов логов, то лучше перед сохранением их преобразовывать в свой стандарт

Comments

[Виктор]

В интернете пишут что использования noSQL (в postgresql это таблица с колонкой данных в json(b)) решает задачи большого хранения данных и быстрого доступа к большому числу записей. Так что это не так? Почему тогда столько ажиотажа вокруг noSQL если это решение не лучше чем простоая таблица?

[Виктор]

Струкутра логов не меняются, в чем лучше хранить логи по Вашему мнению: JSON(b) или стандартная таблица? Записей 1-10 миллиардов

[sim3x]

Виктор:
NOSQL - уже давно не в тренде, если что

Задача хранения большого обьема решается заархивированным текстовым файлом
Быстрый доступ можно получить только если запрос пройдет через индекс

[lega]

> в чем лучше хранить логи по Вашему мнению

что для вас "лучше"? занимаемое место, скорость записи, чтения, удобство использования?
1) для логов есть специальные инструменты.
2) решать задачу нужно от требований, какие виды поисков нужны и пр.

[sim3x]

Виктор:
>Струкутра логов не меняются, в чем лучше хранить логи по Вашему мнению: JSON(b) или стандартная таблица? Записей 1-10 миллиардов

стандартная таблица
С большой долей вероятности тебе не жно хранить или иметь быстрый доступ ко всем записям. Так что пили агрегацию и/или партиционирование таблицы с логами

[Виктор]

sim3x: файлы не подходят, потому что нужно делать выборки из логов по всем пользователям с разным полем category лога: auth, payment, action, etc.

[Виктор]

sim3x: Т.е. насколько я понимаю применять JSON(b) нет смысла, так как выиигрыша ни в производительности, ни в экономии места нету? Просто обычная таблица на поля и можно ее на партиции разбить. Так?

[sim3x]

Виктор:
да, чтоит сделать таблицу и сделать https://wiki.postgresql.org/wiki/Table_partitioning

[Виктор]

sim3x: Я в курсе про партицирование, уже делал. Основной вопрос про хранение в JSON(b). Вы имели опыт хранения в JSON(b) миллиардов записей?
Т.е. мне нужен ответ человека который или знает postgresql до мелочей или же у кого есть опыт работы с JSON(b) и 100% знает что это ни чем не лучше стандартной таблицы.

[sim3x]

Виктор:
Нет, я не занимаюсь глупостями :)
Знают до мелочей постгрес ее разработчики

Ты всегда можешь сделать тесты на своих данных и сравнить метрики

[Виктор]

sim3x: Так поэтому и спрашиваю, чтобы глупостями не заниматься.