Для чего в конфиге logstash при связке с очередь rabbitmq как источника логов — указывают exchange?

Question

[topuserman]

В очередь rabbitmq у меня поступают логи.
Хочу связать logstash с очередью логов для дальнейшей загрузки в elasticsearch.

Возник несколько вопросов:

1. Где размещать конфиг logstash'a для описания input/output ?
В разных источниках разная информация.
Я пробую писать конфиг сюда: /etc/logstash/conf.d/rabbitmq.conf
Файл конфига я создал самостоятельно. Система сама его найдет ?
Или нужно подключить куда-то ?

2. Нужно ли по умолчанию описывать output для elasticserach ? Или они по умолчанию из logstash'a туда поступят ?

3. Самый главный вопрос:

часто в разных примерах конфигов связки logstash + rabbitmq вижу такое:

input {
	rabbitmq {
		host => my_host_name
		port => 5672
		vhost => /
		user => guest
		password => guest
		queue => my_queue_name
		exchange => logs
	}
}

именно, вместе с названием очереди указывают *exchange* ? для чего ? И даже были кейсы, когда чисто exchange, даже без названия очереди ?

Answer 1

[Vitaly Karasik]

Я пробую писать конфиг сюда: /etc/logstash/conf.d/rabbitmq.conf
Файл конфига я создал самостоятельно. Система сама его найдет ?

да, это очень популярный и удобный метод добавления конфигов - в главном конфиге стоит 'include conf.d/*.conf' - загляните в /etc/logstash/logstash.conf.

Нужно ли по умолчанию описывать output для elasticserach ? Или они по умолчанию из logstash'a туда поступят ?

нужно.

Answer 2

[Иван Шумов]

Отвечу только за rabbitmq. В концепции этого брокера необходимо отправлять сообщение в exchange так как это роутер сообщений. Отправлять в очередь технически возможно, но так делать не стоит ибо потом будут затруднения при необходимости перенастроить

Comments

[topuserman]

Спасибо, я понимаю, но тут речь идет не о публикации сообщений, а при получении сообщений из очереди.

[topuserman]

насколько я понимаю, это нужно для того, если exchange не существует, то будет создан автоматически..

[Иван Шумов]

topuserman, ну так при создании очереди ее надо прикрепить к какому-то exchange) обратное правило тоже работает. exchange чаще всего работают как fanout и раздают одинаковые сообщения во все прикрепленные очереди. Из одной очереди должен читать только один консьюмер (или несколько его копий)

[Иван Шумов]

topuserman, больше основ кролика тут

[topuserman]

Иван Шумов, спасибо, со стороны кролика, все понятно. у меня по этой части нет вопросов.

вопрос в другом: для чего указываются exchange у систему, которая просто должна читать сообщения из очереди (т.е. консюмеру, чтобы получать сообщения из очереди, эксчендж не нужен).

[Иван Шумов]

topuserman, технически, нет, но если очереди не будет существовать то надо же ее создать и прикрепить куда-то)