Как разбить json файл на несколько файлов по 5000 символов?

Question

[Yufresh]

Json файл почти 500000 символов в длину

Comments

[Jack444]

Прям по символам отчитывать наверно не очень, проще разбить массив объектов на на несколько частей и их сохранить

[bituke]

проходить каждые 5000 символов и создавать новый json.

[Владимир Коротенко]

bituke, Гильотина режет по шее, а не по расстоянию от ног, так что ваш совет создаст несколько мусорных кусков текста

[YK21]

а почему не включть на сервере сжатие данных? браузер сам распакует

[bituke]

Владимир Коротенко, Задача порезать json на 5000 символов) какой вопрос - такой ответ

[Владимир Коротенко]

bituke, ваш ответ похож на отмазку. Механик почему болты на колесах сорваны и машина на днище? Ну вы же сами сказали затяните покрепче

[bituke]

Владимир Коротенко, ну так может автору просто нужно разрезать файлики по 5к символов? может ему и валидность не нужна? Тут ни проблема, ни для чего ее решать не указано

[Владимир Коротенко]

bituke, обычно людям не нужен мусор, так что я думаю ему это не нужно. Впрочем спросите у автора

Answer 1

[Владимир Коротенко]

https://pypi.org/project/json-stream/

Ваша задача следующая.
Определить заголовок и хвост вашего JSON
Определить данные которые повторяются
проходясь в цикле добавлять данные в буфер
после склеить голову тело и хвост и записать в файл и сбросить буфер
если цикл не закончен то повторить

Вот пример

{
  "names": [
    { "name": "1" },
    {"name": 2 }
  ]
}

{
  "names": [
    { "name": "1" }
  ]
}

{
  "names": [
    {"name": 2 }
  ]
}

Answer 2

[rPman]

500кб очень маленький объем, загружаешь и парсишь локально в своем скрипте весь файл, затем полученный массив в цикле собираешь во временный, сохраняя его в файл при достижении какого то лимита, например по количеству объектов (можно точнее по размеру json но это медленнее)

Comments

[Владимир Коротенко]

Для меня кстати большие размеры это ~40-60 гигабайт оперативки.
При парсинге json или xml это примерно 8-12 гигабайт на диске. Так что да 500 кб это действительно мало. Но если руками это смотреть то прилично

[rPman]

я стараюсь большими json объекты не делать, неудобно работать
но к примеру храню в огромных файлах (сжатые zstd по 4-6гб) миллионы маленьких json-файлов построчно, читать такой файл очень просто fgets, при необходимости можно проиндексировать, сохранив смещения файлов начала каждого json... это сильно быстрее и удобнее любой базы данных (один раз записать много читать) из-за специфики задачи

p.s. есть почти стандартный сериализатор igbinary у php (пришел от туда, вроде есть и для питона и других языков), он очень крутой, быстрее любого другого, есть механизмы оптимизации хранения размера на диске и т.п. но построчно с данными уже не поработаещь, там бинарный блоб

правильно конечно пользоваться чем то вроде protobuf но кода на два порядка больше получается