Какую бд использовать для хранения большого количества текста?

Question

[del del]

Доброго времени суток.
Есть необходимость хранить огромное количество разных записей в базе данных, каждая из которых будет содержать в себе несколько тысяч символов (русских) - так называемые рассказы, истории, без разницы, как это назвать.
Так вот: какую БД лучше для этого использовать? Подойдет ли nosql-бд вроде mongo, и если нет, то почему? И чем лучше sql-базы данных? Какой вариант будет идеален для этого?
Спасибо.

Answer 1

[amambaru]

Без разницы. Хоть в файлах хранить.
А вот если нужно искать, то тут другой вопрос.
Для полнотекстового поиска - SphinxSearch

Comments

[del del]

Без разницы? Не будет ли сказываться на скорости и производительности работы? Даже скачивание большой строки может занимать секунды, а если ещё и БД будет долго отдавать ответ, будет вообще невесело.

[amambaru]

Пётр Самохин: в файлах даже быстрее можно сделать.

[amambaru]

Пётр Самохин: БД нужна для поиска.

[amambaru]

nexthop:
ага, точно. и свободная память в системе не является автоматически файловым кэшем. что в Linux, что в Windows, что в FreeBSD, что в MacOSX

Answer 2

[Pavel Ivanov]

Используйте Elasticsearch

Answer 3

[Dimonchik]

mongo подойдет, но лучше postgre
FTS есть сейчас у многих, но по Постгре есть подтверждаемые тесты

Comments

[del del]

Я понимаю, что "в принципе и это подойдёт, и это.." - но я хотел бы узнать, какие БД быстрее в плане работы с большими (в прямом смысле, по своему информационному размеру) данными - в общем виде (sql и nosql), и в частности (возможно, есть какая-либо БД, направленная именно на это).

Конкретика - будет несколько тысяч записей в БД, каждая запись содержит несколько мелких параметров (короткая строка, число, и т.д.) и один крупный параметр (строка длиной в несколько <может даже десятков> тысяч символов).

[Станислав Макаров]

Пётр Самохин несколько тысяч записей - ну допустим 10 тысяч.
строка в несколько десятков тысяч символов - окей, 50 000 символов * 2 байта на символ = 100 000 байт на запись.
10 000 * 100 000 = 1 Гб. Это поместится в память не то что сервера, а смартфона. Так что я тоже спрошу - вам искать или хранить? Искать - другой вопрос.

[Dimonchik]

hadoop и riak

[del del]

Станислав Макаров: искать тоже, конечно, но в первую очередь хранить и отдавать без задержек.

[avbabushkin]

mongo имеет ограничение на размер документа 16мб, так что для хранения большого количества текста лучше не рассматривать

Answer 4

[aol-nnov]

(из комментариев к другому ответу)
"несколько тысяч записей" - ну, возьмем,. к примеру 9к
"несколько <может даже десятков> тысяч символов" - ну, возьмем, к примеру 99к
итого, еле дотягиваем до 1Тб. Это НЕ "большие (в прямом смысле, по своему информационному размеру) данные". Честно.

Так как ты не озвучил, по каким критериям далее планируется выборка, как часто будут добавляться новые записи и всё такое прочее, я советую тебе всё хранить в простых файлах.