Как хранить временные данные?

Question

[Galdar Turin]

Добрый день, встал такой вопрос по хранению данных.
Вот приходит большой объем данных и и нужно записывать только не повторяющиеся даннты.

Как пример:
Приходит объект - { id: 1, emei: 34567, data: '0976' }

Эти данные я буду записывать в БД, но при том условии, если за последние сутки дынных по этому id не было. А если были то нужно сравнить изменилась ли data, и если изменилась то записать новые данные.

Так вот, не буду же я каждый раз дергать БД чтобы сравнить данные. Потому что таких объектов только за 5 секунд приходить 800 шт +-.

Хочу сделать что-то в виде БД только в самом скрипте, который бы хранил данные за последние сутки, сверял и при необходимости уже бы писал в БД.

Так вот. Подскажите через что такое можно реализовать?

Comments

[Дмитрий Беляев]

какая БД?
скорее всего Вам поможет запрос вида UPDATE OR INSERT

[Galdar Turin]

Дмитрий Беляев, то есть вы предлагаете делать каждые 5 секунд запрос к БД?

[Galdar Turin]

Дмитрий Беляев, а что по поводу этого https://github.com/PaquitoSoft/memored

[Дмитрий Беляев]

Galdar Turin, Вам так и так придется дергать запросом БД для того что бы записать данные, я предлагаю лишь решение, в котором БД сама разбирается, что делать с данными - добавить новую запись или обновить существующую.

[Дмитрий Гололобов]

Как вариант вы можете использовать redis. Это БД, которая хранит данные в памяти.

[Robur]

о есть вы предлагаете делать каждые 5 секунд запрос к БД?

А что, у вас база не может потянуть один запрос раз в 5 секунд?
Я понимаю вы бы делали 1000 запросов в секунду.

складывайте в кеш в памяти, потом делайте выгрузку в бд.

Для 800 эелементов хватит самого обычного объекта в памяти.