Задать вопрос

ElasticSearch, как сделать быструю вставку больших словарей?

Нужно вставить 70000 больших словарей с 2-5 уровнями вложенностями.
Не использую балк, потому что постоянное получал разные ошибки, последняя была с временем ожидания
Проблема в том что вначале скорость вставки приемлимая пол секунды, а потом все больше и больше.
Настройки клиента elasticsearch:
'settings': {
'index.number_of_shards': '5',
'index.refresh_interval': '1s',
'index.max_result_window': 1000000000,
'index.mapping.total_fields.limit': 1000000000
}
Пытался использовать для этого мултипроцессинг, разницы нету. Поделитесь опытом связанным с такой задачей если есть. Спасибо.
  • Вопрос задан
  • 109 просмотров
Подписаться 1 Средний Комментировать
Помогут разобраться в теме Все курсы
  • Яндекс Практикум
    Мидл Python-разработчик
    6 месяцев
    Далее
  • Merion Academy
    Курс по NoSQL. Нереляционные базы данных
    1 месяц
    Далее
  • Яндекс Практикум
    Аналитик SOC
    4 месяца
    Далее
Пригласить эксперта
Ваш ответ на вопрос

Войдите, чтобы написать ответ

Похожие вопросы