CouchDB: частое обновление

Question

[max_mara]

Добрый вечер, Хабровчане

Пытаюсь прикрутить CouchDB к одному из наших проектов и в принципе я всем очень доволен.
Очень нравится то, что 100 миллионов записей, на скромненьком сервере 8 Cores x 32GB RAM, ворочает без проблем.

Но есть одна маленькая деталь

{
   "_id": "_design/funcs",
   "updates": {
       "addUid": "function(doc,req) {
       		if(doc!==null) {
       			req.body=JSON.parse(req.body);
       			var uids=req.body.uids;
       			for(var uid in uids) {
       				uid=uids[uid];
       				doc.uids[uid] = true
       			} 
       			
       			delete doc._rev
       		}
       		return[doc,JSON.stringify(doc)]
       	}"
   }
}

Есть у меня update handler внутри моей БД, который по несколько раз в секунду должен добавлять уникальные идентификаторы в документ.
Проблема в том, что если я начинаю вызывать этот хендлер очень часто, я получаю 409: Document update conflict

CouchDB 1.0.2

Что я пропустил и как это исправить?

Answer 1

[1nd1go]

Я могу ошибаться, но во-первых, каждый раз когда вы обновляете документ, создается его новая версия. Это значит, что при добавлении id будет новая версия документа. Из-за частых добавлений, может перестраиваться B+ дерево записей, что может сказываться на перфомансе

Кстати, у вас, я правильно понял, что id обновляется в объектах принадлежащих одному документу? Тоже может быть, что вы раз записав кому-нить id, пытаетесь в цикле обратиться к еще старому документу.

Comments

[max_mara]

Да, на самом деле так и есть: каждый раз, когда документ обновляется, меняется его ревизия.
У меня есть документ, duplicates_tracking, в котором в объекте у меня все мои уникальные идентификаторы. Записываю я эти идентификаторы пачками по 10 тысяч штук.

[1nd1go]

Обновитесь до 1.10 и используйте stale=update_after

[max_mara]

Более менее разобрались, проблема в том, что у меня обновление шло в несколько потоков, а у CouchDB нет нормального механизма блокировок из-за этих непонятных ревизий.

Answer 2

[hellboy1981]

а каким образом нужно корректно обрабатывать исключение "Document update conflict"? В цикле получить новую версию документа, применить к ней изменения и потом повторить?

не будет ли здесь бесконечного цикла?