Как распознать криво порезанную строку?

Question

[Arman]

Приходят разные данные на код которых я никак не могу повлиять, максимум на лету с win-1251 перекидываю в utf-8.
Эти данные мне нужно сериализовать для чего юзаю json_encode().
Все бы ничего, но некоторые строки utf-8 порезаны криво, подозреваю режут функциями которые не поддерживают многобайтовых кодировок. Как итог у меня не работает нормально json_encode()

Пример:

<?php
$string = 'привет';
var_dump($string); // привет
var_dump(json_encode($string)); // "\u043f\u0440\u0438\u0432\u0435\u0442"

$wrongString = substr($string, 0, 11);
var_dump($wrongString); // "приве�"
var_dump(json_encode($wrongString)); // bool(false)

песочница sandbox.onlinephpfunctions.com/code/a9829c659afcbd...

Как тут лучше сделать? может просто как-то починить json_encode или строку сделать как-то валидной?

заранее спасибо

Comments

[FanatPHP]

Если ты сам на лету перекидываешь в утф, то значит сам и строки режешь неправильно.

[Arman]

FanatPHP, тоже думал про это, но и без конвертации остается проблема. т.е. приходит utf-строка и они битая, очень редко такое но бывает.

[FanatPHP]

Что значит "без конвертации"?
В какой кодировке тебе данные приходят?

[Arman]

FanatPHP, разные источники, в основном в utf-8, очень редко в windows-1251.
> Что значит "без конвертации"?
делал тесты json_encode и mb_detect_encoding() сразу как пришли данные, проблема именно с данными на вход

Answer 1

[nokimaro]

$isValidUTF8 = ! (false === mb_detect_encoding($string, 'UTF-8', true));

Так же если json_encode() вернула false можно посмотреть json_last_error() и сравнить код ошибки с константой JSON_ERROR_UTF8

Comments

[nokimaro]

<?php

$string = 'привет';
var_dump($string);
var_dump(json_encode($string));

$wrongString = substr($string, 0, 11);
var_dump($wrongString);
var_dump(json_encode($wrongString));

$isJsonUtf8Error = (json_last_error() === JSON_ERROR_UTF8);
var_dump($isJsonUtf8Error); //true

$isValidUTF8_1 = ! (false === mb_detect_encoding($string, 'UTF-8', true));
var_dump($isValidUTF8_1); //false

$isValidUTF8_2 = ! (false === mb_detect_encoding($wrongString, 'UTF-8', true));
var_dump($isValidUTF8_2); //true

[Arman]

а дальше как быть?) пока такой хэлпер собрал, но может что есть более правильней. не думаю что я первый с такой проблемой

function filterString($string)
{
    return mb_check_encoding($string, 'UTF-8')
        ? $string
        : filterString(substr($string, 0, strlen($string) - 1));
}

[nokimaro]

Arman, для случаев с криво-обрезанным utf-8 такое решение подойдёт.

Answer 2

[Lander]

А что mb_substr использовать религия не позволяет?

Comments

[Arman]

мне в таком виде данные приходят, я лишь пример показал что подробнее показать пробелму с json_encode

[FanatPHP]

Ну клиент утверждает что "не виноватая я, он сам пришел". В смысле что строки эти какой-то коварный враг подсылает, а сам он белый и пушистый

[Lander]

FanatPHP, Очень странная ситуация. Если это сторонний сервис так косячит, то, возможно, стоит написать в ТП или как то сообщить об этом. Arman, слышите?

[Arman]

Lander, по сути этот сервис собирает данные по сайтам, и на исходном сайте косяк присутствует. Тут только писать исходному сайту, но там прям совсем все плохо по верстке