Зачем хранить логи в ElasticSearch?

Question

[Руслан Хорошкевич]

Может кто-нибудь прояснить, за каким … может понадобиться хранить логи в ElasticSearch. Часто слышу, что это делают в приложениях на php. Хранить товарные категории – еще худо-бедно могу понять, но для чего могут понадобиться логи приложения в поисковой машине?

Answer 1

[Vitaly Karasik]

может понадобиться хранить логи в ElasticSearch

В целом вам уже ответили.
Если подробнее - в ситуациях когда
- есть десятки-сотни компонент и серверов,
- есть короткоживущие контейнеры / поды
- есть регуляция которая требует хранить логи апликаций, сети, и т.д.
- хочется анализировать поведение пользователей, производительность
- нужны алерты на основании логов

=> нужна система для централизованной обработки логов.
Самые популярные сегодня Splunk and Elastic stack, есть и другие.

Если у вас один сервер, то вполне можно обойтись и без.

Comments

[Руслан Хорошкевич]

Спасибо.
Я упустил из виду такой юзкейс, так как пока не выбирался за десяток контейнеров. Да и то, как правило они у меня все постоянно живущие.

Answer 2

[al_gon]

Это делают на любых приложениях.
Если вам нужен:

• ценрализованный logging
  
• визуализация в реальном времени
  
• категоризирование
  
• агрегация
  
• фильтрация
  
• ну и сам поиск как таковой
  

Comments

[Руслан Хорошкевич]

Вот теперь еще больше вопросов появилось

• ценрализованный logging – а точно ElasticSearch это тот инструмент, который для этого нужен?
  
  
• категоризирование – хм... а в чем профит категоризирования через поисковую машину? У нас же вроде и так есть БД, где все тоже самое есть (хотя я не работал с очень большими данными, самое большое с чем работал это БД фиас)
  
  
• фильтрация – разве средствами БД не проще будет?
  
  
• ну и сам поиск как таковой – к этому пункту претензий точно нет, собственно, ElasticSearch и есть поисковая машина.
  

[al_gon]

Руслан Хорошкевич, я Вам дал совет/напрfвление, не более. А дальше как в анекдоте:

Погоди, погоди, тебе совет или консультацию?
— А в чем разница?
— Совет бесплатный, консультация за деньги.
— Совет, конечно!
— Мой тебе совет: запишись на консультацию.

[Руслан Хорошкевич]

Воу, воу. Палехче.
Это вроде бесплатный ресурс вопросов ответов. Здесь задают вопросы и отвечают по собственному желанию. Нечего ответить – отвечать не надо. Вы же просто перечислили то, как можно использовать инструмент.

ЗЫ.: Пока, то с чем сталкивался лично я, говорит о том что люди не осилили проектирование БД и в качестве костыля пихают либо ElasticSearch, либо Sphinx. Это касательно пункта каталогизации. Вот логирование в ластик – это для меня что-то новое и потому хотел узнать какой профит это дает.

[al_gon]

Руслан Хорошкевич, отлично