Пропадают данные при записи в JSON файл?

Question

[Айнур Ярулин]

Здравствуйте, у меня есть JSON файл в котором 75 тысяч объектов, один объект выглядит примерно вот так:

{
  id: 1,
  kinopoisk_id: '...'
  title: "Дом дракона"
  type: "serial"
  description: null,
  poster_url: null,
}

Есть цикл который перебирает массив с данными объектами, попутно добавляя новые данные, такие как описание и URL картинки, а в конце я сохраняю этот JSON файл таким образом:

fs.writeFile('./data.json', JSON.stringify(data), (err) => {
  console.log(err)      
})

Проблема в том, что при каждом новом запуске куда-то теряются примерно 2 тысячи объектов, то есть если в начале у меня было 75 тыс., то после сохранения остаётся 73 тыс.

Как можно решить данную проблему?

Comments

[ThunderCat]

А можно тупой вопрос? Почему не в базе данных а в файле?

[Айнур Ярулин]

ThunderCat, я использую базу данных supabase, она не позволяет получить сразу все 75 тыс. записей, поэтому я получаю из файла все данные, обновляю нужные поля в объекте, а потом перезаписываю данные и в БД и в файле, таким образом всё, что есть в файле есть и в БД.

[v3shin]

А при повторном сохранении 73к записей их количество снова уменьшается?

[ThunderCat]

Айнур Ярулин,

она не позволяет получить сразу все 75 тыс. записей,

Еще более тупой вопрос - а зачем вытаскивать все 75к записей??? РБД хорошо работают с выборками по условию, тащить ВСЮ базу для манипуляций с парой значений, мягко говоря, не лучший вариант. Есть особая необходимость получить в память все 75к записей? Какая задача этого требует?

[Айнур Ярулин]

v3shin, да

[v3shin]

Айнур Ярулин, проверьте как перебираются и сохраняются записи. Возможно, вы создаете дубликаты. Возможно, при записи в БД происходят плавающие ошибки.

[Айнур Ярулин]

ThunderCat, я не хотел делать 75к запросов к базе данных, у меня же бесплатный тариф

[Айнур Ярулин]

v3shin, сохраняю я строго после завершения работы всего когда + перед сохранением я проверяю на наличие дубликатов

[ThunderCat]

Айнур Ярулин,

я не хотел делать 75к запросов к базе данных, у меня же бесплатный тариф

Еще раз - зачем дергать все 75к записей? У вас задача какая? В каких-то определенных ячейках изменить значения? Нахрена тогда вы все тащите? Задачу нормально опишите.

Answer 1

[rPman]

В необходимость правильного использования базы данных тебя уже "ткнули носом", повторять не буду.

Но если прямо очень хочется работать с файлами (а иногда это оправдано, например при монопольном однопользовательском доступе к данным) то совет, не храни 100500 данных в одном файле, создай каталог и внутри на каждый объект создавай json файл, с именем - идентификатор этого объекта

такая key-value база данных простая, удобная, быстрая, подходит там где sql это излишне. Иногда поверх этого делают индексы (файл в котором фильтруемым данным сопоставляется список id) но если возникает такая необходимость лучше все же задуматься о нормальной базе данных
-------------------

Теперь по вопросу, чтобы найти место и причину потери данных, создай лог, текстовый файл, в который будешь записывать факты чтения данных (прочитан объект id) и факты помещения их в итоговый файл (записан объект id), затем для каждого id, не попавшего в итоговый файл добавь дополнительного логирования по условию по каждой ветке условий в коде

Многие нормальные IDE позволяют вести отладку с брекпоинтами по условию, в этом случае все эти логи не нужны и все можно решить парой прогонов, расставив в нужных местах брекпоинты

Answer 2

[Rsa97]

Внимательно оттестировать весь код и найти ошибку.
Либо перейти от файла к нормальной базе данных.