Как обновить данные в index через Logstash?

Question

[nurzhannogerbek]

Здравствуйте, товарищи! Помогите пожалуйста разобраться.

В базе данных PostgreSQL 10 есть таблица. Плюс-минус семь тысяч записей льются туда каждый час.

На основе этой таблицы я создал index в Elasticsearch c помощью скрипта на Logstash. Выглядит он подобным образом:

input {
    jdbc {
        jdbc_connection_string => "jdbc:postgresql://@host:@port/@database"
        jdbc_user => "@username"
        jdbc_password => "@password"
        jdbc_driver_library => "C:\postgresql-42.2.5.jar"
        jdbc_driver_class => "org.postgresql.Driver"
        statement => "SELECT * from table_name"
    }
}
output {
    elasticsearch {
        hosts => ["localhost:9200"]
        index => "table_name"
    }
}

Вопросы:

1. Как обновить существующий index новыми данными, которые поступают в таблицу?
   
2. Какое максимальное количество данных может хранить в себе index? Возможно ли переполнение?
   

Answer 1

[chupasaurus]

1. Либо колхозить в таблице столбец Exported_to_ES, либо пусть приложение начнёт лить данные ещё и в Elasticsearch.
   
2. 2^32 документов на шард индекса.