ElasticSearch, как сделать быструю вставку больших словарей?
Нужно вставить 70000 больших словарей с 2-5 уровнями вложенностями.
Не использую балк, потому что постоянное получал разные ошибки, последняя была с временем ожидания
Проблема в том что вначале скорость вставки приемлимая пол секунды, а потом все больше и больше.
Настройки клиента elasticsearch:
'settings': {
'index.number_of_shards': '5',
'index.refresh_interval': '1s',
'index.max_result_window': 1000000000,
'index.mapping.total_fields.limit': 1000000000
}
Пытался использовать для этого мултипроцессинг, разницы нету. Поделитесь опытом связанным с такой задачей если есть. Спасибо.
