CURL как перекодировать ответ?

Question

[Иван]

С помощью curl получаю данные со стороннего сайта, изначально его кодировка не известна. В случае если кодировка windows-1251 получаю не читаемый сайт (испорчена кодировка), мне нужно отображать utf-8.

iconv("windows-1251", "UTF-8", $post); - помогает, НО если изначально кодировка и так utf-8 сайт я не получаю - белая страница.

curl_setopt($rCurl, CURLOPT_ENCODING, 'gzip,deflate'); - не помогло вообще.

Нашел как мне кажется решение моей проблемы:

<?php 
$tab = array("UTF-8", "ASCII", "Windows-1251", "Windows-1252", "ISO-8859-15", "ISO-8859-1", "ISO-8859-6", "CP1256"); 
$chain = ""; 
foreach ($tab as $i) 
{ 
    foreach ($tab as $j) 
    { 
        $chain .= " $i$j ".iconv($i, $j, "$my_string"); 
    } 
} 

echo $chain; 
?>

Как я понял, данная функция должна определить изначальную кодировку и потом, при необходимости изменить ее, но совладать с этим кодом я не смог.

Я не понял, где нужно задать нужную мне UTF-8 кодировку.

Мне кажется, что из строки $tab = array нужно удалить UTF-8, так как именно эта кодировка мне и нужна.

Пожалуйста, помогите настроить данный код так, чтобы он ничего не менял если изначальная кодировка UTF-8 и изменял кодировку если она не UTF-8.

Пробовал еще так сделать:

function convert_utf8( $post ) { 
    if ( strlen(utf8_decode($post)) == strlen($post) ) {   
        // $string is not UTF-8
        return iconv("windows-1251", "UTF-8", $post);
    } else {
        // already UTF-8
        return $post;
    }
}
echo $post;

не помогло.

Спасибо!

Answer 1

[GTRxShock]

$isWinCharset = mb_check_encoding($post, "windows-1251");
if ($isWinCharset) {
    $post = iconv("Windows-1251", "UTF-8", $post);
}

помню, давным-давно решал подобную проблему, вот нашел одно из решений

Comments

[Иван]

GTRxShock, нашел пару сайтов, где код не помог.
В мета у сайтов стоит кодировка utf-8 но сам файл видимо в другой кодировке, из-за чего на сайте появляются иероглифы, пример такого сайта:
indikator.one-trading.ru

Если убрать

$isWinCharset = mb_check_encoding($post, "windows-1251");
if ($isWinCharset) {
    $post = iconv("Windows-1251", "UTF-8", $post);
}

то сайт отображается корректно НО слетают сотни других, которые изначально в Windows-1251 кодировке.

Можно как-то зафиксировать эту проблему, возможно я что-то не так понимаю и сайт indikator.one-trading.ru на самом деле в utf-8 кодировке, тогда в чем проблема?

Может в строке $isWinCharset = mb_check_encoding($post, "windows-1251");
прописать несколько кодировок, чтобы угадать нужную?

Спасибо!

[GTRxShock]

9StarRu, мне нужно описание проблемы, которую вы решаете. На приведенном выше сайте какую именно информацию вы желаете выдернуть?

з.ы. я сталкивался с подобной проблемой, тут надо понимать что mb_check_encoding не смотрит в мета теги, а работает непосредственно со строкой. и если в строке он сталкивается с нормальными символоми сначала, то не доходя до проблем может дать неверный результат

[Иван]

GTRxShock: пока я выдергиваю полностью весь html код, уже на этом этапе у меня пробелы с кодировкой.
Убираю ваш код - все ок, но слетают сотня других сайтов.
Ваше решение самое лучшее! Только вот действительно видимо mb_check_encoding перекодирует нормальные символы.
Т.е. проблема в самом начале строки, а не где-то в строке, mb_check_encoding сразу портит кодировку у некоторых сайтов.

[Иван]

9StarRu: мне подсказали, что кодировка у таких сайтов в самом деле UTF-8, так это или нет не могу сказать точно.

[GTRxShock]

9StarRu я к тому, что вы можете выдернуть хоть той же регуляркой содержимое тега body или p и его уже отдать функции проверки. Либо просто вести список исключений, в котором корректировать тот или иной сайт, большинство ведь работает нормально