Чем прочитать файл в binary file contents для json encode?

Question

[entermix]

Возможно ли как то прочитать файл в binary file contents, для последующей записи в массив и сериализации в json ?

Пробую file_get_contents, при попытке json_encode, получаю ошибку:

son_encode(): Invalid UTF-8 sequence in argument

Пробовал такую функцию:

function file_get_contents_utf8($fn) {
    $content = file_get_contents($fn);
    return mb_convert_encoding($content, 'UTF-8',
        mb_detect_encoding($content, 'UTF-8, ISO-8859-1', true));
}

Вроде все ок, но при десериализации массива, получаю 0 элементов.

Answer 1

[Назар Мокринский]

Зачем читать в бинарном режиме текстовый файл O_o?
Зачем что-то конвертировать, если json_encode() всегда производит utf8, а json_decode() понимает только utf8?
UPD: решение - использование отдельной таблицы для хранения бинарных файлов, смотреть комментарии под этим ответом.

Comments

[entermix]

>Зачем читать в бинарном режиме текстовый файл O_o?
Кто сказал, что это текстовый файл?

Зачем что-то конвертировать, если json_encode() всегда производит utf8, а json_decode() понимает только utf8?
Ну как видите обычным методом не получилось..

[Назар Мокринский]

Вы сказали что хотите декодировать его как JSON, JSON - текст, и только текст.
Не получилось потому что вам чего-то очень странного хочется.
Вот вам пример: https://github.com/nazar-pc/Useful-PHP-Functions/b...
Тупое применение двух функций без каких-либо мистических танцев с кодировками, работает 100%.

[entermix]

Назар Мокринский: мне нужно прочитать несколько файлов, записать их в массив, применить json_encode() и записать в БД

[Назар Мокринский]

entermix: ОК, как я уже и говорил json_encode/json_decode работают только с UTF8 строками, а JSON - текстовый формат. Соответственно для упаковки в JSON вам нужно конвертировать бинарные данные в текст (например, с помощью base64_encode, и потом паковать, либо использовать более подходящие форматы (странно бинарные данные хранить в JSON).
Могу посоветовать вместо этого паковать с помощью serialize, в БД тогда желательно использовать BLOB тип колоки (хотя если у вас текстовые данные, просто в не-utf8, можно рискнуть в текстовую засунуть).
https://secure.php.net/manual/en/function.serialize.php

[entermix]

Назар Мокринский: дело в том, что сериализуется по умолчанию в json_encode, и мне туда нету доступа, пробовал через base64, оказалось что строка была слишком большой длины, изменил тип поля на MEDIUMTEXT, теперь все ок, еще вопрос, не подскажете сколько метров можно записать файл в БД, кодированный через base64 в MEDIUMTEXT/LONGTEXT ? Что выбрать?

[Назар Мокринский]

entermix: www.spravkaweb.ru/mysql/sql/vartype
1 символ - это 1 байт грубо говоря. Но с base64 оно примерно в 3 раза больше места занимает чем оригинальный текст.
На самом деле вы уточните что у вас за контент. Если у вас реально текст - то используйте iconv для конвертации в utf8. mb_detect_encoding() работает с мультибайтовыми кодировками, которой ISO-8859-1, к примеру, не является, поэтому и не конвертирует ничего и поэтому получаете в итоге пустоту.

[entermix]

Назар Мокринский: это excel файлы, которые потом отправляются на email, но в будущем может понадобится и что то другое. Просто хотелось бы после их генерации не хранить на диске, т.е. отправил в БД и забыл о существовании

[Назар Мокринский]

entermix: Тогда у вас всё-таки бинарные данные.
Бинарные данные глупо паковать в JSON или что-то ещё. Глупо, расточительно и медленно.
Храните как есть в колонке с типом BLOB да и всё.

[entermix]

Назар Мокринский: но файлов может быть несколько, не делать же для них несколько колонок отдельно

[Назар Мокринский]

entermix: Нет, делать отдельную табличку для файлов:
* id
* id записи из другой таблицы, к которой файл относится
* название файла (если нужно + другие данные типа даты загрузки, размера и т.д.)
* бинарное содержимое

Нормализованная логичная структура

[entermix]

Назар Мокринский: ок, если так сделать, сколько по максимуму (размер) можно будет хранить файл?

[Назар Мокринский]

entermix: В зависимости от типа колонки по ссылке, которую я приводил. BLOB - 65 КиБ, LONGBLOB - до 4 ГиБ

[entermix]

Назар Мокринский: спасибо! обновите, пожалуйста, Ваш ответ - выберу решением.