MongoDB: выборка последних значений

Question

[akamoroz]

Добрый день.
Раз в секунду в MongoDB пишутся данные которые приходят, вот в таком формате:

{ 
    '_id' : 1,
    'info': [ 'c':768, 'd':345 ] 
}
{ 
    '_id' : 2,
    'info': [ 'e':333  ] 
}
{ 
    '_id' : 3,
    'info': [ 'c':353,  'e':113  ] 
}

Нужно сделать выборку по всем последним значениям в массиве info, отсортированным по _id (ужас...), короче, должно получиться:

[ 'c':353,  'e':113, 'd':345  ] 

Люди добрые, в какую сторону копать?

Comments

[Anton Kuzmichev]

Эм… я правильно понимаю: последние значения тут понимаются как «последние значения конкретного ключа»? Т.е. последнее значение ключа «c» => 353, «e» => 113 и т.д.? Ключи могут быть любые?

[akamoroz]

да, вы правы. Последнее значение конкретного ключа из массива. Ключи могут быть любые.

Answer 1

[Вячеслав Слинько]

В общем, при такой структуре:

{
	"_id" : 3,
	"info" : [
		{
			"k" : "c",
			"v" : 353
		},
		{
			"k" : "e",
			"v" : 113
		}
	]
}

Вот решение:

db.test.drop();
db.test.insert({
  "_id": 1,
  "info": [{"k": "c", "v": 768}, {"k": "d", "v": 345}]
});
db.test.insert({
  "_id": 2,
  "info": [{"k": "e", "v": 333}]
});
db.test.insert({
  "_id": 3,
  "info": [{"k": "c", "v": 353}, {"k": "e", "v": 113}]
});
db.test.find().forEach(printjson);

var res = db.test.aggregate([
  {$sort: {
    "_id": 1
  }},
  {$unwind: "$info"},
  {$group: {
    "_id": "$info.k",
    "v": {$last: "$info.v"}
  }}
]);

printjson(res);

Вот результат выполнения aggregation:

{
	"result" : [
		{
			"_id" : "e",
			"v" : 113
		},
		{
			"_id" : "d",
			"v" : 345
		},
		{
			"_id" : "c",
			"v" : 353
		}
	],
	"ok" : 1
}

Comments

[Вячеслав Слинько]

По идее сортировать по _id нет смысла, если он инкрементальный и уже отсортирован, так что просто берем последнее значение:

var res = db.test.aggregate([
  {$unwind: "$info"},
  {$group: {
    "_id": "$info.k",
    "v": {$last: "$info.v"}
  }}
]);

[akamoroz]

Огромное спасибо, разбираюсь. Стало понятно куда копать.

Answer 2

[Anton Kuzmichev]

Есть 2 пути:
1) использовать Aggregation Framework для построения запроса
2) ход конём: при поступлении данных сразу в другую коллекцию сразу записывать/обновлять ваши «последние значения по определенному ключу», с сохранением id записи исходной коллекции, в которой хранится это значение ключа. В таком случае для выборки вам нужно будет просто сделать простой запрос к этой доп.коллекции. Особенно хорошо это решение будет, если у вас ключей немного, причем настолько же хорошо, насколько глупо будет смотреться ворочание этой большой исходной коллекции-хранилища для получения последних значений нескольких десятков ключей…

Comments

[Вячеслав Слинько]

Для aggregation framework нужно писать данные в таком виде:

{
  _id: 1,
  info: [['c', 353]]
}

[akamoroz]

По второму пункту: проблема в том, что insert'ов будет в тысячи раз больше, чем select'ов. По этому на каждый insert делать update слишком трудозатратно, пусть уж лучше будет очень тяжелая выборка. Aggregation смотрю — но пока решения не могу придумать.

Answer 3

[Вячеслав Слинько]

Что значит последнее значение?

Comments

[Вячеслав Слинько]

Последнее значение каждого ключа?

[akamoroz]

На примере: есть метеостанция. Шлет три параметра: давление, температуру, осадки каждые 10 секунд, если значение не поменялось — параметр не отдается.
То есть, в одной «посылке» может прийти только температура, может прийти давление и осадки, а может и все три параметра.

Нужно в интерфейсе показать последние значения температуры, осадков и давления