Как организовать хранение email-сообщений email-модуля CRM-системы?

Question

[iamoskvin2]

Задача - хранить все email-сообщения почтового ящика у себя на сервере с возможностью полнотекстового поиска по текстам сообщений.
Реализовал изначально в mysql, но так как писем много, то база начинает весить десятки гигабайт. Не покидает ощущение, что должно быть более подходящее решение для данной задачи.
Что-то можете порекомендовать? Может быть есть информация, как обычно реализуют данный функционал в CRM-системах...

Answer 1

[Владимир Коротенко]

В нормальных системах есть свои интерфейсы у почтовиков, вы из своей crm только их дергаете.

Как вариант реализуйте внутренний интерфейс для отдачи письма, и скормите этот url для elasticsearch.

Comments

[iamoskvin2]

В нормальных системах есть свои интерфейсы у почтовиков, вы из своей crm только их дергаете.

Имеете ввиду, что CRM дергает почтовик по IMAP, а у себя письма не хранит вообще?

[Владимир Коротенко]

iamoskvin2, не совсем имап предполагает слишком сложный протокол , например эксченж выдаёт поток на каждое письмо, все это учитывается краулером и ограничивается в доступе.

[Владимир Коротенко]

iamoskvin2, другой вариант например постфикс может хранить письма в бд вы настраиваете поиск через эластик и выдаёте ссылки на почту типа mailserver/read/Korotenko/233456788953326788

[iamoskvin2]

Владимир Коротенко, у нас ящики на gmail все. Он умеет IMAP и GMAIL API. Но обращаться по API в реальном времени что-то не очень нравится по скорости работы. Постфикс мне, думаю, не нужен, в такой связке, так как сервером является gmail. Про эластик понятно, вероятно, попробую при тормозах поиска в mysql.

[Владимир Коротенко]

iamoskvin2, Как вариант независимый обходчик, который имеет акаунт для всей почты и индексирует все. Потом на уровне выдачи сортируете результат что кому выдавать.

Но это все же предположение, нужно попробовать. Как по мне там задержки на поиск в пределах 0.3 сек