Как организовать хранение больших текстовых данных?

Есть система для парсинга email писем для последующей подачи их в систему. Т.к. с парсингом могут возникать проблемы, мы решили сохранять оригиналы писем.

Еще момент стоит с аттачами в письмах, т.е. размер письма может достигать до 50 и 100мб. Выризать аттачи из письма нельзя.

Файловая система рассматривается в самую последнюю очередь.

Встал вопрос, какой лучше софт использовать для хранения этих данных?
Обязательно чтоб он умел принимать файлы из сети (софт будет на отдельном сервере).
Желательно чтоб были какие-то метки для будущего поиска данных.
Хорошо если будет связь с nodejs.
Отлично, если данные будут еще и архивироваться.
  • Вопрос задан
  • 3081 просмотр
Пригласить эксперта
Ответы на вопрос 4
MarcusAurelius
@MarcusAurelius Куратор тега Node.js
автор Impress Application Server для Node.js
Файловая система рассматривается в самую последнюю очередь.

Как раз файловая система - это лучший способ хранить файлы. Или у вас к ней предубеждение? Не достаточно круто? Возьмите ZFS. Минимум обработки, максимум эффективности, файловые системы для этого и разрабатывалась.

Выризать аттачи из письма нельзя.

Почему? Вы их что в MIME BASE64 храните? Как раз нужно - делайте папку для каждого письма и сохраняйте все атачи из него в папку. Конечно, нужно держать индекс файлов и писем в СУБД, с дополнительными полями, которых нет в файловой системе. Для этого лучше взять реляционку и хранить там имена файлов в UTF-8, а на диске держать файлы переименованные, например в ID записи в БД, можно в HEX.
Ответ написан
zxmd
@zxmd
Можно конечно попробовать mongo gridfs но... вы таки хотите этого?
Ответ написан
Ваш ответ на вопрос

Войдите, чтобы написать ответ

Войти через центр авторизации
Похожие вопросы