Как работать правильно с данными?

Question

[Windyay]

Добрый день, помогите пожалуйста, не могу сам сообразить, как реализовать следующее:
я записываю полученные данные
fs.appendFile('./data.txt', JSON.stringify(data));
у меня получается массив объектов
затем я эти данные получаю

fs.readFile("./data.txt", "utf8", 
function(error,r){
  if(error) throw error; 
  datafixed = JSON.parse(('['+r+']').replace(/\]\[/g,'],['));
  data = datafixed.flat(Infinity)
  createitem();
});

я хочу повторно получать данные, которые совпадают(частично), с данными которые находятся в моем распаршеном массиве/тхт файле
и оставлять только новые данные
условно я обратился к данным, получил [{продукт: хлеб}, {продукт: молоко},{продукт: масло}] записал в тхт файл, затем распарсил, поработал с данными
затем делаю повторно запрос получаю [{продукт: хлеб}, {продукт: молоко},{продукт: масло}, {продукт: кефир}]
я хочу что бы у меня в массиве остался только кефир и в тхт файле тоже
Если я понимаю, каким образом мне перебрать массив (после парсинга) и удалить одинаковые элементы(нагуглю), то каким образом и на каком этапе мне еще и тхт файл очищать, я не понимаю
Тхт файл - моя мини база данных, потому что с базами данных я еще не работал
Буду благодарен за любые советы

Comments

[Сергей Сергей]

writeFile(), только надо определиться: когда append, а когда write.

[Алан]

Используйте функцию writeFile()
P.S. Но необходимо выбрать, когда write(), а когда append().

Answer 1

[Slava Rozhnev]

Начните работать с базами данных. Они специально созданы для этого. Для начала возьмите Redis.

Comments

[Windyay]

Видимо настал тот момент, когда пора перестать бояться баз данных и начать их учить. Так и сделаю

[Windyay]

Единственное, может быть вы подскажите, если вам не сложно. Я посмотрел уже несколько туториалов по реддису. Я понимаю, что в моем случае самым адекватным решением будет - сохранять массивы в виде строк в реддис, затем получать их, распаршивать, удалять одинаковые объекты, затем перезаписывать в реддис

[Slava Rozhnev]

Windyay, Скорей всего. Хотя мне трудно сказать точно поскольку я не знаю логику вашей программы. Возможно Вам нужно хранить каждый элемент отдельно.

[BEKa T]

Windyay, давай со мной на MySQL Вместе будем решать ошибки))
MongoDB не выбрал, потому что сложноват для новичка и медленный

[Slava Rozhnev]

BEKa T, каждый инструмент для своей цели