Добрый день!
Подскажите пожалуйста как решить вопрос обработки более триллиона значений?
Хранение происходить в NoSql LiteDb
При необходимости я извлекаю данные и мне их нужно обрабатывать, но задался вопросом если у меня будет более квадриллиона данных ? Сервак генерирует пакеты вроде все норм использую значение uint хватит на долго.
Но при получении данных с базы если произойдет переполнение и я не смогу вытащить в коллекцию, как поступить может кто знает?
Хотя бы подсказку куда смотреть...
Сосохраняю данные в базу
Curr c = p.curr.Dequeue();
lock (p.locker)
{
using (var db = new LiteDatabase(@"MyData.db"))
{
var col = db.GetCollection<Curr>("currency");
col.Insert(c);
}
}
Запрашиваю данные с базы
List<Curr> d;
lock (p.locker)
{
using (var db = new LiteDatabase(@"MyData.db"))
{
ILiteCollection<Curr> currDat = db.GetCollection<Curr>("currency");
d = currDat.FindAll().ToList();
}
}
Собственно сама коллекция
List<Curr> d;
Как обойти переполнение или сделать постраничное чтение кто может быть знает?
З.ы тестовое задание нужно сдать вечером... :)
