Задать вопрос
mayton2019

mayton2019

Bigdata Engineer
Ответы пользователя по тегу Очереди сообщений

  • Как в RabbitMQ обработать все сообщения а затем удалить очередь и закрыть соединение?

    mayton2019
    @mayton2019
    Bigdata Engineer
    Очередь - бесконечная по дизайну. Поэтому прикладной софт никогда сам не может решить
    прочитал-ли он последнее сообщение или нет. Сетевой протокол тоже в этом смысле не помошник
    потому-что шлет сообщения пачками и тоже нельзя гарантировать что пачка - последняя.

    Единственный разумный выход - если producer создает специальное сообщение-терминатор
    которое как-бы сигнализирует что все дескыть конец.
    Ответ написан
    Комментировать
    Комментировать

  • Какие вы знаете очереди с возможностью дедубликации данных?

    mayton2019
    @mayton2019
    Bigdata Engineer
    Очереди могут обеспечить exactly once. По крайней мере в настройках у многих есть такой параметр.

    Дедубликация - это слишком жесткое требование. Оно требует хранения ключей в неких индексах
    которые должны быть консистентны. Это - ближе к базам данных. А очереди обычно используют
    достаточно простые и плоские структуры (файлы) для хранения месседжей.
    Ответ написан
    Комментировать
    Комментировать

  • Как реализовать очередь в node js?

    mayton2019
    @mayton2019
    Bigdata Engineer
    Если в стеке технологий у вас стоит Redis - то можно его использовать для очереди
    https://redis.com/redis-best-practices/communicati...
    Ответ написан
    Комментировать
    Комментировать

  • Зачем в кафке файл .index и .timeindex, почему бы сразу не искать в .log файле?

    mayton2019
    @mayton2019
    Bigdata Engineer
    В Kafka log файлы обычно большого размера. И поиск в них - последовательный. В силу специфики. Месседжи - имеют произвольный размер. А индексный файл - маленький. И записи - по 64 бита. Можно быстро найти нужную. Тем более там есть ордеринг.
    Ответ написан
    Комментировать
    Комментировать

  • Почему низкая скорость публикации сообщений в очередь RabbitMQ?

    mayton2019
    @mayton2019
    Bigdata Engineer
    Вопрос - странный. Ну если вам нужно быстро - то отправляйте батчем. Собственно - это такой общий паттерн который можно рекомендовать всегда. Как - советовать носить шерстяные штаны зимой.

    Почему медленно когда по 1 сообщению? Идей много. Как вариант - виновата сетевая латентность и некие усиленные проверки транзакций или квитирований с вашей стороны. Вот по этому пункту нужно смотреть конфигурации и пинговать и трассировать ваши сети.
    Ответ написан
    Комментировать
    Комментировать