Вырезать битые символы из юникод XML

Question

[Letum]

День добрый. Такая проблема:
Есть XML файл, в котором находится часть текста, распознанная какой-то OCR. Файл в кодировке скорее всего UTF-16LE. Некоторые символы в файле битые и при использовании PHP SimpleXML файл не обрабатывается нормально.

Задача — как-то вырезать эти символы или их игнорировать. С использованием PHP. Пытался бороться с помощью

iconv("UTF-16LE". "UTF-16LE//IGNORE", $loaded_file);

когда файл открывался как строка, а потом уже преобразовывался в XML объект. Не помогает, так же пытался поменять кодировку с помощью iconv, но она выдавала пустую строку.

Образец файла

Answer 1

[m-haritonov]

Попробуйте так:

<?php
$text = file_get_contents(__DIR__ . '/20720351_2010_-_1_unicode.xml');
$text = iconv('UTF-16LE', 'UTF-8', $text);
// http://stackoverflow.com/a/12265956
$text = preg_replace('/[^\x{0009}\x{000a}\x{000d}\x{0020}-\x{D7FF}\x{E000}-\x{FFFD}]+/u', ' ', $text);
$element = simplexml_load_string($text);
var_dump($element);

Comments

[Letum]

Спасибо, preg_replace помог.

[MikhailEdoshin]

А почему именно такой диапазон? Просто у меня была схожая задача и я остановился на диапазоне, указанном в Wikipedia — он несколько меньше, а теперь не знаю, может быть я переосторожничал.

[m-haritonov]

Автор примера на stackoverflow (ссылка в комментарии в коде выше) ссылается на спецификацию XML 1.0 (http://www.w3.org/TR/REC-xml/#charsets), где приводятся именно эти диапазоны символов как допустимые (в регулярном выражении, соответственно, ищутся все символы, не входящие в данный диапазон). Диапазон #x10000-#x10FFFF (присутствующий в спецификации) в регулярное выражение не включён, по-видимому из-за того, что в нём какая-то экзотика находится (точно не знаю, т.к. толком не разбирался что это за диапазон).

P.S.: в приведённом выше коде preg_replace заменяет недопустимые символы на пробел, хотя правильнее, по-идее, заменять такие символы на пустую строку (т.е. просто удалять их из строки).

[MikhailEdoshin]

Ага, теперь разобрался — этот диапазон минимально безопасный, но вообще рекомендуется еще отбрасывать, например, #x007F-#x0084 и т. п., так как эти диапазоны или не определены (и не будут) или содержат control characters. Что до #x10000 и прочих кодов, которые выходят за пределы двух байтов, то тут зависит от реализации Юникода — не в каждой программе Юникод четырехбайтовый. В моем случае, например, он двухбайтовый, тут (UTF-16) тоже, так что таких символов просто не встретится.

[m-haritonov]

Ага, теперь разобрался — этот диапазон минимально безопасный, но вообще рекомендуется еще отбрасывать, например, #x007F-#x0084 и т. п.

Посмотрел что за символы содержатся в диапазонах [#x7F-#x84], [#x86-#x9F], [#xFDD0-#xFDEF] — вроде бы ничего нужного для текста действительно нет (разве что #x0082 — «break permitted here» и #x0083 — «no break here»). Тогда модифицированное регулярное выражение, с учётом этих диапазонов, будет таким:

$text = preg_replace('/[^\x{0009}\x{000a}\x{000d}\x{0020}-\x{D7FF}\x{E000}-\x{FFFD}]+|[\x{007F}-\x{0084}\x{0086}-\x{009F}\x{FDD0}-\x{FDEF}]+/u', '', $text);

Что до #x10000 и прочих кодов, которые выходят за пределы двух байтов, то тут зависит от реализации Юникода — не в каждой программе Юникод четырехбайтовый.

В UTF-16, как я узнал из википедии, символы из диапазона #x10000-#x10FFFF кодируются так называемыми суррогатными парами (два блока по 2 байта каждый). Для суррогатных пар отведён диапазон #xD800-#xDFFF, который как раз и исключён из допустимых символов XML (в спецификации XML по этому поводу даже специальное пояснение присутствует — «any Unicode character, excluding the surrogate blocks...»).

В UTF-8 эти символы могут присутствовать (закодированные четырьмя байтами, например) и, при необходимости, можно включить в регулярное выражение диапазон \x{x10000}-\x{10FFFF}, чтобы эти символы не вырезались.

В моем случае, например, он двухбайтовый, тут (UTF-16) тоже, так что таких символов просто не встретится.

На всякий случай оставлю здесь напоминание для других читателей, что текст, обрабатываемый вышеприведённым кодом, должен быть в кодировке UTF-8 (т.к. модификатор "\u", используемый в preg_replace, ожидает текст в кодировке UTF-8), поэтому преобразование в UTF-8, присутствующее в примере — обязательно в данном случае.

[Letum]

Можно ещё вопрос в догонку. Как в скрипте определить у меня UTF-8 или UTF-16LE?

[m-haritonov]

Если в начале строки присутствует метка порядка байтов (BOM), то отличить UTF-8 от UTF-16LE и UTF-16BE можно по ней.

Если метки порядка байтов нет (её наличие не обязательно), то узнать кодировку можно по анализу содержимого строки. Однако такой анализ не надёжен.

В остальных случаях, насколько я знаю, безошибочного способа определить кодировку по тексту нет. Собственно, по этому кодировку текста и указывают дополнительно при передаче текста (в XML кодировка указывается в начале файла в декларации: "<?xml version="1.0" encoding="UTF-8" ?>").

[Letum]

Сурово захардкодил с учётом возможности только двух кодировок.

if (mb_detect_encoding ($text, "UTF-16LE,UTF-8") == "UTF-8")
                $xml_text = $text;
        else
                $xml_text = iconv("UTF-16LE", "UTF-8", $text);

[m-haritonov]

mb_detect_encoding не сработает в данном случае (видимо, упущение разработчиков). Можете сами убедиться:

<?php
// PHP файл в кодировке UTF-8 

$text = iconv("UTF-8", "UTF-16LE", 'ффф');
print mb_detect_encoding(iconv("UTF-8", "UTF-16LE", 'ффф'), "UTF-16LE,UTF-8"); // Выведет "UTF-8"

// Указание различных вариантов UTF-16 также не помогает
$text = iconv("UTF-8", "UTF-16LE", 'ффф');
print mb_detect_encoding(iconv("UTF-8", "UTF-16LE", 'ффф'), "UTF-16LE,UTF-16BE,UTF-16,UTF-8"); // Выведет "UTF-8"

// Не сработает, даже если вручную добавить BOM
$text = iconv("UTF-8", "\xFF\xFEUTF-16LE", 'ффф');
print mb_detect_encoding($text, "UTF-16LE,UTF-8"); // Выведет "UTF-8"

// Указание различных вариантов UTF-16 при наличии BOM также не помогает
$text = iconv("UTF-8", "\xFF\xFEUTF-16LE", 'ффф');
print mb_detect_encoding($text, "UTF-16LE,UTF-16BE,UTF-16,UTF-8"); // Выведет "UTF-8"

[m-haritonov]

Некорректный скрипт привёл в предыдущем комментарии (лишний iconv был в двух вызовах). Вот исправленный:

<?php
// PHP файл в кодировке UTF-8 

$text = iconv("UTF-8", "UTF-16LE", 'ффф');
print mb_detect_encoding($text, "UTF-16LE,UTF-8"); // Выведет "UTF-8"

// Указание различных вариантов UTF-16 также не помогает
$text = iconv("UTF-8", "UTF-16LE", 'ффф');
print mb_detect_encoding($text, "UTF-16LE,UTF-16BE,UTF-16,UTF-8"); // Выведет "UTF-8"

// Не сработает, даже если вручную добавить BOM
$text = iconv("UTF-8", "\xFF\xFEUTF-16LE", 'ффф');
print mb_detect_encoding($text, "UTF-16LE,UTF-8"); // Выведет "UTF-8"

// Указание различных вариантов UTF-16 при наличии BOM также не помогает
$text = iconv("UTF-8", "\xFF\xFEUTF-16LE", 'ффф');
print mb_detect_encoding($text, "UTF-16LE,UTF-16BE,UTF-16,UTF-8"); // Выведет "UTF-8"

[m-haritonov]

Оплошность за оплошностью… В предыдущем комментарии BOM не туда вставил. Вот исправленная версия:

<?php
// PHP файл в кодировке UTF-8 

$text = iconv("UTF-8", "UTF-16LE", 'ффф');
print mb_detect_encoding($text, "UTF-16LE,UTF-8"); // Выведет "UTF-8"

// Указание различных вариантов UTF-16 также не помогает
$text = iconv("UTF-8", "UTF-16LE", 'ффф');
print mb_detect_encoding($text, "UTF-16LE,UTF-16BE,UTF-16,UTF-8"); // Выведет "UTF-8"

// Не сработает, даже если вручную добавить BOM
$text = "\xFF\xFE" . iconv("UTF-8", "UTF-16LE", 'ффф');
print mb_detect_encoding($text, "UTF-16LE,UTF-8"); // Выведет пустую строку

// Указание различных вариантов UTF-16 при наличии BOM также не помогает
$text = "\xFF\xFE" . iconv("UTF-8", "UTF-16LE", 'ффф');
print mb_detect_encoding($text, "UTF-16LE,UTF-16BE,UTF-16,UTF-8"); // Выведет пустую строку

Answer 2

[m-haritonov]

… сообщение удалено (написал не в ту ветку)...