Как сохранить 500 млн документов в Mysql или Postgresql?

Question

[miteigi nemoto]

Необходимо сохранить 500 миллионов текстовых документов (html + text). Объем базы будет достигать 700 Гб. Полагаю, что хранение будет на разных VPS по 60-80 ГБ каждая. Какие есть решения для Mysql или Postgres?

Comments

[Сергей Горностаев]

Подозреваю, что в полной формулировке окажется, что задача не для реляционных БД.

Answer 1

[Михаил Васильев]

Хранить текстовые документы в БД не нужно, особенно 700Gb.
Используйте S3 совместимое хранилище, например, Minio.

Comments

[d'Ivan]

Смотря что делать с документами. Если ничего не нужно знать об их содержимом, то ответ верный.

[miteigi nemoto]

Мне нужно их индексировать через Sphinx

[Алексей Уколов]

Тогда вам сюда: https://stackoverflow.com/questions/30813530/how-t...

[miteigi nemoto]

Это xml надо делать. В csv не засунуть html

[Stalker_RED]

miteigi nemoto, sphinx, емнип, умеет индексировать файлы прямо из папок.

[ThunderCat]

Dr. Bacon, Вроде это его прямой профиль, если поиск по сотне документов еще худо-бедно можно ручками искать, то как раз для больших объемов сфинкс как отец родной.

proven scalability up to billions of documents, terabytes of data, and thousands of queries per second;

Answer 2

[ThunderCat]

500 млн документов в Mysql или Postgresql... Мне нужно их индексировать через Sphinx

However, Sphinx does not depend on nor require any specific database to function.

Если у вас не стоит задача работать с УЖЕ СУЩЕСТВУЮЩЕЙ базой, база сфинксу как таковая не нужна, у него свои индексы и свой движок, хотя и с базами она тоже умеет.

PS: sphinxsearch.com/forum/view.html?id=11964