Суть в том, что логи занимают несколько гигабайт. Но это не самая критичная проблема. Требуется регулярно выдергивать записи из логов по определенным критериям (дата, ид юзера и т.п.). Пока все это безобразие хранится в MySQL, но хотим заменить на logstash+mongodb.
Хотелось бы услышать советы, кто как хранит логи, какие хранилища logstash используете и почему, как анализируете логи? Если более конкретно, то какое хранилище посоветуете для хранения больших объемов логов и поиска записей по определенным параметрам?
раньше не работал с elasticsearch. можете подсказать, как оптимизируется поиск по базе в сотню гигабайт? mysql конечно не идеал, но там можно выбрать лимитами определенный участок и в нем выполнить поиск по параметрам. а в elasticsearch как это реализуется?
Wolf KTL: на какой ответ Вы расчитываете? база выглядит как набор файлов с данными и индексами. настройки для отправки данных из логсташа в эластик - в самом конфиге логсташа, в разделе output.
как данные потом из эластика вытащить? я пользуюсь кибаной, но интерфейсов к эластику навалом.
Wolf KTL: что в настройках раздела output укажите - там и будут. Если писать будете в эластик - то хранить уже будет эластик, там расположение файлов определяется настройками эластика.
