Какой есть 100% способ перекодировать строку в utf-8?

Question

[KuzmenkoArtem]

Например:

• Загружаю файл в кодировке ISO-8889-5 (может быть любая)
  
• Нужно перевести все в utf-8
  
• Работать дальше
  

Пробовал таким способом

$encoding = mb_detect_encoding($a); // возвращает false
$result = mb_convert_encoding($a, "UTF-8", $encoding);
//
//
$encoding = mb_detect_encoding($a, 'iso-8859-4, iso-8859-5, iso-8859-6, iso-8859-7'); // передаем список возможных кодировок, определяет как iso-8859-4, хотя на самом деле iso-8859-5
$result = mb_convert_encoding($a, "UTF-8", $encoding); // неправильно кодирует из-за предыдущего шага
//
//
$result = mb_convert_encoding($a, "UTF-8");  // третий параметр оставляем по умолчанию - кодирует не правильно
$result = mb_convert_encoding($a, "UTF-8", 'auto');  //кодирует не правильно

Также пробовал библиотеку https://github.com/neitanod/forceutf8 - кодирует не правильно

Comments

[Дмитрий]

Добрый день.
Думаю, что 100% способа нет.

[KuzmenkoArtem]

Дмитрий, Спасибо за комментарий. Сможете что-то посоветовать?

[Дмитрий]

KuzmenkoArtem, затрудняюсь что-либо посоветовать. Сам сталкивался с подобной ситуацией - рабочего на сто процентов решения не нашёл.
Откуда берутся файлы с различными кодировками?
Есть, вроде, онлайн сервисы, попробуйте с ними поработать.

[KuzmenkoArtem]

Дмитрий, ну их загружают пользователи, т.е. контролировать нельзя

[Дмитрий]

KuzmenkoArtem, может исходить из того, что есть основные кодировки? Например cp1251, utf8... Пользователи откуда, со всего мира?

[KuzmenkoArtem]

Дмитрий, ага

Answer 1

[FanatPHP]

Такого способа нет.
Для стопроцентного результата необходимо знать кодировку исходного текста.

Comments

[KuzmenkoArtem]

Спасибо. Есть тогда что посоветовать?

[Decadal]

KuzmenkoArtem, вы можете спроектировать решение, собрав все работающие варианты перекодировок из известной кодировки в utf-8 (в разумных пределах), и собрав способы определить кодировку, а потом выбирать из вариантов перекодировок то, что соответствует варианту, который вы определили. Я уверен что уже есть такого рода сборки, может не по всем кодировкам в мире но по большинству.

Answer 2

[Adamos]

Рассматривайте закодированный текст как шифр замены. Если у вас в этом тексте предполагаются русские слова - частотным анализом и сопоставлением буквенных пар легко определяется тот вариант перекодирования, который выдает реальный текст.

Answer 3

[Alex]

Всего 2 шага:
1) Узнаем кодироку (ф-я mb_detect_encoding , читай статью https://www.php.net/manual/ru/function.mb-detect-e...
2) Меняем кодировку (ф-я iconv)