Какую технологию выбрать для работы с базой данных?
Добрый день! Помогите ответить на такой вопрос связанный с базами данных. Планируется создать базу данных объемом порядка 100-300 Гб (Если говорить о строках, то несколько миллиардов строк в таблице). Например, данные с множества датчиков, которые поступают каждый час на протяжении годы, и потом нужно работать с этими данными. Необходимо делать запросы для выгрузки данных. Как лучше поступить, организовать базу данных с кластеризацией этих данных и использовать PostgreSQL или применять какие-либо методы работы с BigData? Если PostgreSQL, то какие порядки по времени обработки запроса могут быть осуществимы? (допустим нужно выгрузить таблицу на 100 000 строк)? Спасибо за советы!
А какие именно запросы?
Если данных прямо очень много и нужно их быстро записывать, и чтобы ещё надёжно хранилось - можно попробовать Cassandra.
Если данные привязаны ко времени, то можно взять time-series расширение для постгреса - TimescaleDB
допустим нужно выгрузить таблицу на 100 000 строк
Зависит от запроса. Если это SELECT * FROM table, то не сильно долго.
