Задать вопрос
AlexeyVi

Алексей

Linux, MySQL, PostgreSQL, ElasticSearch, HiLoad
Ответы пользователя по тегу Elasticsearch

  • Какую технологию выбрать для поиска Elastic или Postgres?

    AlexeyVi
    @AlexeyVi
    Linux, MySQL, PostgreSQL, ElasticSearch, HiLoad
    ElasticSearch вам нужен будет только если будете расти, как abmanimenja сказал смысла от 1-го инстанса нет. Эластик прекрасен в кластере минимум из 3-х серверов со своей прекрасной отказоустойчивостью и горизонтальным масштабированием. И не стоит забывать о месте на дисках, по умолчанию эластик жмет данные, чего не умеет PostgreSQL. Так же можно за данными обращаться к любой ноде или выделенной клиентской(им) при большом кластере. И шардирование конечно из коробки. Но есть и минусы, эластик не очень любит DELETE и UPDATE, если у вас таких операций предполагается много, это НЕ ваш ВЫБОР.
    Ответ написан
    Комментировать
    Комментировать

  • Как защищать input в graylog?

    AlexeyVi
    @AlexeyVi
    Linux, MySQL, PostgreSQL, ElasticSearch, HiLoad
    Если нет фильтрации на уровне Graylog, что мешает фильтровать iptables по хостам?
    Но если вы сейчас ведете речь о продуктивном сегменте, не хотите себе задать вопрос, а все ли хорошо у нас с безопасностью, что "ведь кто угодно может направить террабайты мусорных логов в мою систему сбора логов"
    Ответ написан
    Комментировать
    Комментировать

  • Что лучше использовать для логов парсера: mysql или elasticsearch?

    AlexeyVi
    @AlexeyVi
    Linux, MySQL, PostgreSQL, ElasticSearch, HiLoad
    Что использовать?
    Зависит от нагрузки, одно из преимуществ ElasticSearch это сжатие хранимых данных, не четкий поиск, горизонтальное масштабирование из коробки (без танцев с бубном), fault tolerance при правильной настройке кластера
    Минусы, я думаю сложнее в настройке как самого эластика так и JDK под него.
    Ответ написан
    Комментировать
    Комментировать

  • ELASTICSEARCH как более "изящно" осуществить репликацию через playbook ANSIBLE?

    AlexeyVi
    @AlexeyVi
    Linux, MySQL, PostgreSQL, ElasticSearch, HiLoad
    Вы не правы, я на проде никогда не перезагружал ноды, после добавления новых.
    Все делается налету:
    В конфиге новой ноды вы прописываете все ноды, после запускаете и она заходит в кластер и начинается синкаться (лучше делать когда нагрузка на кластер минимальна, так как будет много копирования), синк будет зависит от настроек распределения шардов и реплик. Соответственно:
    1. Убрать все ограничения по сети (настроить правила firewall (Добавить, поправить и тд)), если существуют
    2. Запустить новую ноду, она сама зайдет в кластер и будет синкаться
    3. Добавить на существующие в конфиг новую.

    По поводу ваших вопросов сплит брейна, в настройках эластика есть настройка минимальное кол-во нод для работы: discovery.zen.minimum_master_nodes: кол-во
    Это позволяет, например, у вас 5 нод, вы держите по 1 праймари шарду на каждой ноде и 2 реплики каждого шарда на других нодах. С настройкой discovery.zen.minimum_master_nodes: 3, вы всегда сможете вывести 2 сервера из работы (на обслуживание), при этом кластер перейдет в желтое состояние но будет отдавать данные (не так быстро правда, деградации производительности)
    Ответ написан
    Комментировать
    Комментировать