Дописать в файл json и прочесть его php?

Question

[SteepNET]

Добрый день!
Немного запутался в JSON на PHP
Стоит задача записывать даныые в тектовый файл либо в json файл данные, но не просто записывать а дописывать новыми данными, свого рода бд. так на данный момент удобнее, понимаю что лучше использовать бд, но хочеться сперва использовать все таки файл.

Пробую так

$datetime = date("Y-m-d H:i:s");
$date = date("Y-m-d");
$time = date("H:i:s");

$array = [
	'Дата' => $datetime,
	'День' => $date,
	'Время' => $time, 
	];
$json = json_encode($array, JSON_UNESCAPED_UNICODE);

$filename = 'trunk_hook_json.json';
file_put_contents($filename,$json,FILE_APPEND | LOCK_EX);

echo $json;
exit();

Данные успешно записываються в файл
{"Дата":"2022-02-02 17:40:12","День":"2022-02-02","Время":"17:40:12"}

Если еще раз выполняю код то получается так
{"Дата":"2022-02-02 17:40:12","День":"2022-02-02","Время":"17:40:12"}{"Дата":"2022-02-02 17:40:12","День":"2022-02-02","Время":"17:40:12"}

Затем читаю таким образом

$Json = file_get_contents('trunk_hook_json.json');
$array = json_decode($Json);
var_dump($array);

Результат выводит если запись ф файле одна, если две то выводит null
Подскажите что не так делаю?

Comments

[FanatPHP]

json - не потоковый формат. его нельзя читать и писать по кусочку
только целиком
поэтому если надо добавлять в конец, по степени предпочтительности в данном случае будет
база данных (она не такая страшная, как кажется)
CSV
джейсон (который надо переписывать с нуля)

в теории конечно можно совместить второй и третий вариант, но я бы не стал этого делать

Answer 1

[Immortal_pony]

Вместо

file_put_contents($filename,$json,FILE_APPEND | LOCK_EX);

... пишите так:

$payload = file_exists($filename) ? ",{$json}]" : "[{$json}]"; 
$fileHandler = fopen($filename, "c");
fseek($fileHandler, -1, SEEK_END);
fwrite($fileHandler, $payload);
fclose($fileHandler);

Comments

[FanatPHP]

"почему кот яйца лижет? потому что может"

[Immortal_pony]

FanatPHP Это ты ещё не видел как я xml-конфиги средствами mysql парсил. И не от хорошей жизни, поверь ))

[Vitsliputsli]

Immortal_pony, если вновь записываемые json настолько независимы от предыдущих, что мы предыдущие даже не смотрим, зачем тогда их объединять в один json? Почему бы не писать их отдельными строками? Каждую строку при этом можно будет обрабатывать отдельно. Собственно как это и делается в системах логирования. Смысл расширять дозаписыванием со странными телодвижениями, когда при чтении придется читать все скопом?
И когда автор запустит свою шайтан-машину и она насоздает записей, через некоторое время он опять придет с новой задачей: не перезаписывая весь файл удалить из json несколько первых объектов.

[SteepNET]

В общем то все супер, есть небольшая помарка ,если файл был пустой начинается с ,{ но это вообще не проблема, поставил [{ и все ,остальные записи полетели как надо!
Маленький вопрос, в файле все идет в одну строку, не принциписально конечно, можно каждую запись заставить с новой строки писать без потери функционала?

[Vitsliputsli]

SteepNET, можно, очевидно просто добавьте символ новой строки при записи.
Только зачем? Что будет дальше? Комментарии в json?
Это все превращается, как написал FanatPHP, в "ковыряться грязными ногами в джейсоне".

[SteepNET]

Vitsliputsli, Вы правы, может быть я делаю не верно, правильнее было бы просто добавлять данныые в БД и оттуда спокойно брать, да но это тоже опыт, за полгода лог накапливает в себе всего 5 мб данных,но статистику из него брать нужно..

[Vitsliputsli]

SteepNET, бд не панацея, которая спасёт от всего и вся. Если речь про 10Мб в год, то действительно стоит задуматься о том, так ли необходима бд. Тут проще прочитать и записать файл целиком. Опять же, есть sqlite.
Либо хранить в json отдельные события лога, а писать-читать построчно. А потрошение json и запись отдельных кусков не лучшая идея. Но мало того, что сама идея плохая, она ничего полезного не даёт, если сравнить с записью построчно.

[Immortal_pony]

Vitsliputsli Я не знаю конкретный случай автора, но запись в json может понадобиться для интеграции каких-либо внешних, систем, например. Или для поиска по логам есть классные консольные утилиты, с которыми удобно работать, а не эти ваши grep верхом на sed или cut

SteepNET Товарищи, возражающие против json хотят склонить вас не к записи в БД, а к записи логов в CSV-формате - в таком виде строки будут по-настоящему независимыми и не надо будет шаманить со скобками в попытках создания валидного json'а. Бонусом - строки будут максимально человекочитаемыми. Для этого можно воcпосльзоваться fputcsv и fgetcsv
Что же касается json'а и новых строк, это можно сделать так:

$eol = PHP_EOL;
$payload = file_exists($filename) ? ",{$eol}{$json}]" : "[{$json}]";

[SteepNET]

Immortal_pony, В двойне спасибо! Да ,json как то привычней, хотя от метода с csv тоже не отказался бы...
На самом деле я в поиске решения, удобного решения для всех, но прежде всего собираюсь обрабатывать этот лог через php, делать выборки и фильтрацию данных, уже даже есть определенные успехи, не знаю как поведет себя все это когда файл начнет быть пухлым ,содержащим 10-ки тысяч записей, но никто не мешает мне начать писать в новый или сделать лимитирование файла скажем посуточно..

[Immortal_pony]

SteepNET Из моего опыта, до 50к записей фильтрация и сортировка будут отрабатывать в пределах 1сек на не шибко резвом сервере.
Если записей будет больше, то следует всё же задуматься о смене хранилища.

[Vitsliputsli]

Immortal_pony, для интеграции с внешними системами лучше подготовить API, а не подстраивать свое хранилище под них и позволять им напрямую лазить в него.
Товарищи склоняющие к CSV вместо json исходят из того, что так им привычнее. Только вот сейчас 2022 и формировать отдельные строчки в логе как json это нормальная, обычная практика, и как софт уже может формировать в таком виде логи, так и системы организации логов, тот же logstash могут читать их.
А учитывая, что автор пишет построчно, а при чтении готов читать только часть, ту которая последняя после ротации файла, то на мой взгляд писать лог отдельными строками внутри которых json - самый оптимальный вариант.

Answer 2

[Vitsliputsli]

Результат выводит если запись ф файле одна, если две то выводит null

Потому что
{"Дата":"2022-02-02 17:40:12","День":"2022-02-02","Время":"17:40:12"}{"Дата":"2022-02-02 17:40:12","День":"2022-02-02","Время":"17:40:12"}
это не валидный json. Валидный будет, например, такой:
[{"Дата":"2022-02-02 17:40:12","День":"2022-02-02","Время":"17:40:12"},{"Дата":"2022-02-02 17:40:12","День":"2022-02-02","Время":"17:40:12"}]
В любом случае, дозаписывать json неполучится. Либо обрабатывайте его полностью и полностью перезаписывайте файл. Либо храните в файле строками и читайте строками.

Comments

[SteepNET]

Спасибо за ответ! Подозревал что так, можно ли попросить Вас простой пример правильно дозаписи в файл что бы можно было их все прочесть?

[Vitsliputsli]

SteepNET, простой - взять file_get_content, прочитать весь файл в память, потом поделить по переносам строк, но тогда нельзя использовать переносы строк внутри json. Но все это при условии, что весь файл всегда будет помещаться в память. Либо открывать через fopen в режиме 'r' и читать построчно через fgets.
Дозаписывать - открывая файл через fopen в режиме 'a'.

[ThunderCat]

Vitsliputsli,

простой - взять file_get_content, прочитать весь файл в память,

Согласен

потом поделить по переносам строк,

А дальше какой-то бред, просто декоднуть жсон в массив, добавить в массив еще одну запись и обратно в жсон завернуть и сохранить.

[Vitsliputsli]

ThunderCat, он хочет дозаписывать в файл, а не переписывать его целиком каждый раз.

[FanatPHP]

мало ли что он хочет

[Vitsliputsli]

FanatPHP, он пишет, что "хочет попробовать", пусть пробует. Тем более, дозаписывать логи в файл, вполне себе годное решение.
Либо пытать автора на предмет решаемой задачи, если есть желающие.

[FanatPHP]

дозаписывать логи в файл хорошее решение
ковыряться грязными ногами в джейсоне - плохое.

[Vitsliputsli]

FanatPHP, метафора, конечно, звучная. Но то, что дозаписать json не получится, автор уяснил. Тогда о каком ковырянии json идет речь?

[SteepNET]

Так и не услышал от знатоков , возможно ли дописывать JSON?

[FanatPHP]

SteepNET, вам ответили уже: дописать нельзя, можно ПЕРЕзаписать.
прочитать, добавить, записать.
что неясно?

[FanatPHP]

либо отказаться от джейсона и записывать просто текст

[SteepNET]

FanatPHP, Стоит цель потом этот файл читать и отбирать из него необходимые данные, думал что из JSON это делать легче будет?

[FanatPHP]

отбирать легче, записывать сложнее
я там выше написал уже
вообще судя по постановке задачи это чистый csv
2022-02-02 17:40:12,2022-02-02,17:40:12
прекрасно хранится, добавляется и читается

[Immortal_pony]

FanatPHP, Vitsliputsli, ThunderCat
Я с вами всеми не согласен. В примере не какой-то абстрактный JSON, а массив однотипных объектов. Если мы это знаем, то закинуть новый объект туда - не проблема, и не надо читать весь файл.
Рабочий вариант в моём ответе.

[Vitsliputsli]

Immortal_pony, вообще, то что хочет автор, очень похоже на логирование, а при этом в каком формате будет дозаписываемая строка json, csv или еще что, это как удобнее. Но ломать дозаписывать json решение так себе.
SteepNET, если вам легче будет работать с json - берите json. Записывать его не намного сложнее, не так уж и много потеряете на генерации json. Но это должны быть независимые json в каждой строке.