Как лучше хранить данные, которые не надо обрабатывать?

Question

[semki096]

Я хочу испольховать библиотеку построения графиков D3.js Как лучше хранить данные для графика - в базе или в файле? На данном этапе не планирую их обрабатывать в плане запроса к данным, но планируется добавление этих данных с какойто временной периодичностью, например каждую минуту. Буду признателен за помощь.

Answer 1

[Андрей]

На данном этапе не планирую их обрабатывать в плане запроса к данным

Вот это не очень понятно.
Есть данные для построения графиков. По этом данным будут строиться графики с какой-то периодичностью = будут запросы?

Если же просто сохранять какую-то информацию, то проще, конечно, чисто в файл.

Comments

[semki096]

Спасибо что откликнулись. То есть я имел ввиду что данные будут браться из файла и распарсиваться, целиком без выборки. Но файл будет расти, в него будут добавляться данные.

[Андрей]

semki096, тогда все же лучше БД. ИМХО не так уж велика будет разница в производительности, но удобства и поддерживаемости будет больше.

Но можно, конечно, попытаться реализовать на memcached и хранении в файлах..

Answer 2

[Иван Мельников]

Однозначно, лучше хранить в БД. Когда придет время обрабатывать данные что вы будете делать с файлом? Будете считывать его весь в память, сплитить на список списков, переводить все числовые данные из текста в числа и только потом обрабатывать?
Это повторное изобретение уже изобретенных механизмов.
Я уже молчу о том, что хранение данных в файле потребует гораздо больше места на диске. Например, для хранения 7-значных целых чисел в десятичной системе счисления в БД потребуется поле размером в 3 байта (проверьте сами). Для хранения же в файле потребуется 7 байт на число. Увеличение занимаемого места на диске повлечет увеличение нагрузки на СХД (будет дольше происходить чтение) и увеличение расхода памяти. Или ещё, как вы будете осуществлять быстрый поиск/фильтрацию/сортировку данных из файла? В БД для этого существуют индексы.

Comments

[semki096]

Спасибо. Какую базу можете порекомендовать? Хранить буду в виде json. Добавления могут быть каждую секунду, поэтому нужна подходящая для этого база, может mysql? Тогда наверно надо отказаться от json ( Думаю Redis попробовать.

[Иван Мельников]

semki096, так как вам в последствии потребуется быстро строить графики, то вам нужно быстрое чтение временных рядов. Для быстрого чтения временных рядов используются колоночные СУБД или подсистемы хранения колоночного типа (например, в PostgreSQL).

Answer 3

[mayton2019]

Если автору нужно хранить данные измерений (графики) в режиме append-only, то можно посмотреть в сторону InfluxDB.