В каком виде правильнее хранить большие табличные данные на сервере?

Question

[Cornelian]

Добрый день.
Появилась задача создания сайта с базой данных результатов неких научных измерений.
Изначально имеется набор csv файлов. Один столбец - DateTime, остальные могут выбираться из некоторого известного набора. ~300 000 строк и ~150 столбцов каждый файл (~400Мб). Суммарный объем 15-20Gb.
По запросу надо будет отдать сформированный csv c выбранным куском дат и столбцов из требуемого файла.

Есть ли смысл хранить такие данные не в виде csv, а в каком-нибудь PostgreSQL? На сколько быстро обработается запрос ~100 000 строк и 100 столбцов? Изменится ли ответ на первый вопрос при увеличении суммарного объема до 2Тб?

Comments

[Smithson]

Вы забыли указать две важных детали - сколько таких файлов у вас уже есть и сколько вы ждете через год? Если цифры порядка 5 и 100 - то можете и дальше хранить всё в файлах. Если же 1000 и 10000 - то поиск по 10 000 файлов вас расстроит своей скоростью.
Вторая деталь - сколько у вас будет одновременных пользователей? Если их 5-7 - то опять же не парьтесь. Если же их сотни-тысячи, то любая sql-база даст вам выигрыш в производительности по сравнению с хранением файлов.

Answer 1

[dinegnet]

Тожа ржу нимагу.

Ученые идиоты, да.
Ну дык поставьте зачет сообразительному студенту своему....
Канечна нужно использовать сервер баз данных. Да, например, PostgreSQL.
Для него упомянутые вами объемы просто смешны.

Хотя, вполне можно обойтись и CSV, при условии, что вам нужно отдавать результаты ПОДРЯД из CSV, а не искать их в разных местах файлов CSV.
При извлечении данных в разброс - лучше использовать именно специализированную СУБД.

Comments

[Cornelian]

У меня подозрение, что у вас несколько завышенные ожидания по уровню IT грамотности для условных географов, или биологов (а также их студентов).

По первой части ясно. Что насчет последнего вопроса? PostgreSQL переварит запрос в 50Гб выдачи?

[dinegnet]

Cornelian:
Всегда есть сообразительные студенты или парни студенток и пр. и пр. - можно найти легко.
Это несложная задача.

Можно совместную разработку или просто проконсультироваться на профильных факультетах.

Что до географов - не нужно прибедняться. Есть такая штука геоинформатика.
В нашем вузе на ней дохрена бабла подняли в свое время. Так что программисты есть и у географов.

Про 50 Г. Современные БД и в миллион раз крупнее вашего числа держат объемы.
Проверьте.
Нагенерировать тестовых данных случайным образом не сложно.

Он же (PostgreSQL) не сразу все данные выдает.
А fetchит кусками.

Не вижу проблем.

Не стоит цельный курсор создавать - это да.
А fetch кусками пройдет без проблем.

Хотя, повторюсь, если данные необходимо отдавать подряд, то я бы обошелся без PostgreSQL
Было бы проще. И меньше нагрузка.