Какая сейчас самая современная и быстрая база данных для ежедневного накопления больших объемов данных?

Question

[Олег Петров]

Добрый день.
Подскажите какую базу данных лучше всего использовать на сегодняшний день для ежедневного накопления значительных объемов данных? Где быстрее всего делаются запросы?
Хочу делать ежедневный слепок данных такого типа.
Как сделать свой виджет на Python?

Comments

[sim3x]

Конкретизируйте ваш вопрос

[Сергей Горностаев]

Смотря какие данные и какие запросы.

[Олег Петров]

Сергей Горностаев, sim3x, Хочу делать ежедневный слепок данных такого типа.
Как сделать свой виджет на Python?

[Сергей Горностаев]

Олег Петров, одна запись из 5 значений в день - это большие объёмы? Или я чего-то не понял?

[AVKor]

С одной таблицей, одним столбцом и без данных. Вот такая будет самой быстрой.

[Олег Петров]

Сергей Горностаев, Сейчас будет 5, потом возможно 100000 разных источников будет парситься в сутки и потом обрабатываться.

[Сергей Горностаев]

Олег Петров, ну тогда надо строить сразу свой ЦОД и писать собственную СУБД! У вас типичная преждевременная оптимизация. Возьмите сейчас PostgreSQL. Если когда-нибудь в далёком будущем вы сможете исчерпать его ресурсы, не составит труда переехать на что-нибудь другое.

[Олег Петров]

Сергей Горностаев, Спасибо. Как раз Postgres и использовал, в общем вашу идею я понял.

Answer 1

[Dimonchik]

любая, clickhouse например
вот с извлечением могут быть нюансы

Comments

[Олег Петров]

А с чем они связаны? Как я прочитал Clickhouse Как раз и разработан для значительных объемов данных.

[Dimonchik]

кликхаус крут, жаль что нет под винду, но заточен все же на аналитику

в то время как класс задач с графами, например, решается только графовыми

+ апдейт делит в кликхаусе сложен и связан с риском потери

я юзаю еще Аэроспайк и Аранго, ну и Постгре, конечно

[Иван Шумов]

Олег Петров, по тому что

consistency eventually

. То есть нет гарантии что после записи вы получите данные сразу обратно).

Что вы понимаете под большими объемами данных?

[Олег Петров]

Иван Шумов, 100000 Записей в сутки.

[Олег Петров]

dimonchik2013, А из тех, что под винду, что самое быстрое на данный момент?

[Иван Шумов]

Олег Петров, почти все БД работают под все OS (*nix, Win, OSX). Что касается 100000 записей в сутки то не смешите мои тапочки. Кроме simpleXML, любая даже не поперхнется.

[Dimonchik]

Олег Петров, PostgreSQL лучше всего

[Олег Петров]

Иван Шумов, Отлично. ВОпрос по скорости запросов был скорее. Какая самая быстрая?

[Олег Петров]

dimonchik2013, Отлично. ВОпрос по скорости запросов был скорее. Какая самая быстрая?

[Иван Шумов]

Олег Петров, зависит от ваших запросов. Тут нельзя сказать "эта быстрее, эта медленнее" - любую производительность можно убить корявыми руками

[Dimonchik]

под винду выбор не велик ), так что Постгре и остается
+ можно в NoSQL режиме, или просто JSON поля, в общем, лучший вариант