Как правильно хранить данные в mongodb?

Question

[grisbi]

Как правильно организовать архитектуру базы mongodb, для хранения большого количества данных?
Предположим сейчас есть csv файл, в котором около миллиарда строк, весом около 500gb и 20 колонок.
Как сохранить данные так, что бы можно было быстро сделать необходимую выборку по разным колонкам?

Собираюсь использовать ssd, centos 6 64bit, с RAM еще не определился.

Answer 1

[Пума Тайланд]

быстро выборку по любым колонкам без индексов тут не сделать
а с индексами это будет быстрее работать даже в том же mysql
вообще зачем здесь монга то ? в чем профит от неё если у вас одна единственная вставка будет ?

Comments

[grisbi]

данные будут постоянно обновляться, а насколько я понял монго работает в этом плане гораздо быстрее чем мюскл

поэтому и задался вопросом, как правильно составить архитектуру базы

[Пума Тайланд]

grisbi: часто это по вашему сколько тысяч запросов в секунду ? если у вас там будет куча индексов на их обновление что в мускуле что в монге будет уходить гигантское время при таких апдейтах

[grisbi]

Пума Тайланд: информация обновляется примерно один раз в один-два дня, но обновляются лишь некоторые колонки, у некоторых строк (примерно 20-30% строк)

[Пума Тайланд]

grisbi: ну это вообще фигня выигрыш от монгу тут опять не виден кроме автошардинга на пять серверов.

[grisbi]

Пума Тайланд: а что в этом случае лучше использовать?

[Пума Тайланд]

grisbi: в вашем мелком случае вы можете попробовать мускул постгрес и монго и увидеть что вам больше подходит, для админа делов на пару тройку дней ну и программисту надо тоже будет немного озадачиться

Answer 2

[Константин Китманов]

Ну как минимум надо проставить индексы тем колонкам, по которым будете делать выборки.

Если бы речь шла не об NoSQL, можно было бы посоветовать еще нормализовать по разным таблицам, но с mongo в этом не очень много смысла.

Answer 3

[d'Ivan]

MongoDB подходит для слабоструктурированных данных. Если количество колонок может сильно варьироваться, то данные лучше хранить в NoSQL БД.
Однако, возможна и Работа со слабо-структурированными данными в PostgreSQL.
Если имеется много связей между сущностями, то БД с документной моделью вам не подходят - лучше взять реляционную БД.
А в случае если данные имеют структуру графа, то вообще графовую БД.

Из слайдов www.slideshare.net/maxdemarzi/introduction-to-grap...