Как перекодировать текст из ASCII в UTF-8?

Question

[maiskiykot]

Спарсил сайт. Указана кодировка iso-8859, однако перекодировка в utf-8 дает кракозябры. Начал проверять углубленно - получилось, что сайт закодирован в ASCII, но не могу перекодировать ее в utf-8. Вручную, конечно, сделать можно, но парсинг не разовый, поэтому каждый раз перекодировать гигабайт информации некошерно. Отсюда вопрос: как перекодировать из ascii в utf-8 с помощью PHP? Понимаю, что acsii является частью utf-8, но jsonencode это почему-то не понимает и отказывается перекодировать текст.

Comments

[Moskus]

Если сайт - на русском языке, то это не может быть ASCII, в принципе. Показывайте шестнадцатеричные коды своего исходника.

[maiskiykot]

Moskus, Вы читаете вопрос? Где вы на русских сайтах видели кодировку iso-8859?

[Moskus]

maiskiykot, во-первых, то, что что-то указано, не означает, что так и есть. Во-вторых, вы знаете, сколько здесь вопросов, которые полностью от балды сформулированы, особенно - про кодировки? Вот я и пытаюсь выяснить, что же на самом деле тут за ситуация. Ну и это, 8859-что? Их десяток. И да, 8859-5 на русскоязычных сайтах я, естественно, видел.

[maiskiykot]

Текст в ASCII

[SagePtr]

maiskiykot, то есть, ваш текст не содержит символов с кодами > 127, вы на это намекаете?

[maiskiykot]

SagePtr, я намекаю на то, что ни mb_convert_encoding, ни iconv не перекодирует текст в utf-8, а т.к. мне надо перегнать этот текст (а точнее гигантский массив) в json, то этот номер у меня не проходит, потому что jsonencode понимает только utf-8.

[Александр Шохров]

Ссылку на какую-нибудь страницу "сайта" можно? "ASCII" — это слишком широкий термин, как и "iso-8859".

[maiskiykot]

Куда уж шире! Я не знаю: зачем они забодяжили такую кодировку - видимо, специально для осложнения жизни таким как я.

[SagePtr]

maiskiykot, откуда у вас уверенность, что текст в кодировке ASCII? Валидный ASCII является также валидным UTF-8, т.к. не содержит символы выше 127.

[maiskiykot]

SagePtr, А где я сказал, что текст невалидный? Он прекрасно читается, прекрасно записывается, просто он в ASCII. Я проверил кодировку на компе. Проблема в том, что мне надо на лету перекодировать текст в utf-8 а ни один перекодировщик не справляется - либо кракозябры, либо ничего. В итоге я не могу получить json, ради которого я и парсю сайт.

[SagePtr]

maiskiykot, КОДИРОВКА! ASCII! ЯВЛЯЕТСЯ! ПОДМНОЖЕСТВОМ! КОДИРОВКИ! UTF-8! И! НЕ! ВЫЗЫВАЕТ! ОШИБОК! ЕСЛИ! ЕЁ! ТРАКТОВАТЬ! КАК! UTF-8!

[maiskiykot]

SagePtr, Это вы объясните функции json_encode. Она ПОЧЕМУ-ТО ТАК НЕ СЧИТАЕТ!

[SagePtr]

maiskiykot, можно образец текста (в виде файла) ?

[maiskiykot]

SagePtr, так образец - обычная латиница. Куда тут образец можно вставить?

[SagePtr]

maiskiykot, залить в dropbox или на любой файлообменник или облачный диск и вставить в виде ссылки

[maiskiykot]

SagePtr, Файл

[SagePtr]

maiskiykot, вы надеетесь, что внутри JSON? Или какие именно операции производите, которые приводят к ошибке?

[maiskiykot]

SagePtr, Внутри чего? Если файл, то это сериализованный массив из парсера.

[SagePtr]

maiskiykot, что за файл вы мне скинули и что конкретно вы с этим файлом делаете, что у вас в последствие не получается?

[maiskiykot]

С ним я ничего не делаю. По сути это просто копия массива. Из этого массива мне нужно получить json - я уже написал все выше.

[SagePtr]

maiskiykot, можно минимальный кусок кода, на котором воспроизводится проблема? Ибо я ваш текст успешно скормил функции json_encode и никакой проблемы с ним не возникло.

[ThunderCat]

maiskiykot, если это кусок реального файла - он битый, видно же.

[maiskiykot]

ThunderCat, Это сериализованный массив. Взял просто кусок.

[maiskiykot]

SagePtr, Что вы могли скормить - не знаю. Попробую сделать небольшую выборку, потом отпишусь.

[SagePtr]

maiskiykot, текстовый файл ваш скармливал, и вот так - всё замечательно работает и на выходе вижу JSON-строку:

<?php
	var_dump(json_encode(file_get_contents("http://go.urr.ru/test.txt")));

[Александр Шохров]

SagePtr, я так понял, ТС пытается json_encode($array), а в скормленном нам файле — кусок выхлопа serialize($array), причём выхваченный вообще из середины, с 99 по 245 элементы, строки обрублены. Так что пока только гадать можно.

Answer 1

[maiskiykot]

И все-таки парадоксальный результат вышел из этой истории. Сайт упирался всеми своими фибрами или чем там еще. Нормальный результат удалось получить только с помощью iconv и принудительной перекодировки в UTF-8. Только после этого заработали все функции. Вот тебе, бабушка, и Юрьев день!

Comments

[Александр Шохров]

Написали бы для потомков, с какими параметрами вызывали iconv.

[maiskiykot]

iconv("iso-8859-1","utf-8",$str)

При таком раскладе preg_match выдавил практически 99% информации. Хотя результат все равно гуляет. Без перекодировки из 100 страниц выкидывал до 6.

[Александр Шохров]

Мистика. Либо на сайте на самом деле разные кодировки, а он их выставляет за iso-8859-1. Хотя если выкинутые страницы на сайте выглядят аналогично невыкинутым, то всё-таки мистика.

Ну, верное направление вы нащупали, успехов в труде.

[maiskiykot]

100% результат все равно не могу получить. То одна страница выпадает, то другая. Или это какая-то игра с кодировками на сайте или что. Банальные урлы не могу вытянуть. Больше 10 лет парсю сайты - первый раз такой геморрой.

Answer 2

[ThunderCat]

Спарсил сайт.

Где храните? Как достаете? Точно все в утф? Соединение, чарсет в пыхе и апаче, таблицы в бд?

Указана кодировка iso-8859, однако перекодировка в utf-8 дает кракозябры.

Возможно по тому что вы пытаетесь перекодировать? Так как оно уже в утф(так как подмножество же) перекодировать ничего не надо.

Comments

[maiskiykot]

Да я пока даже не храню - скидываю в файл. Соединение curl. Мне надо получить на выходе json, а json_encode не хочет этот текст воспринимать.

[ThunderCat]

maiskiykot,

Да я пока даже не храню - скидываю в файл.

Э? Так храните в файле или не храните?

[ThunderCat]

maiskiykot, и

каждый раз перекодировать гигабайт информации некошерно.

ошибка точно не в том что вы пытаетесь энкодить гигабайтную строку? Что вообще выдает за ошибку?

[maiskiykot]

ThunderCat, по сути мне нужен json, поэтому я просто массив через serialize скидываю в файл, чтобы было видно, что парсер отработал нормально.

[maiskiykot]

ThunderCat, Гигабайт на входе примерно. На выходе меньше намного. Ошибки нет никакой. Просто функция json_encode не отрабатывает из-за кодировки. Когда я пытался из iso-8859 перекодировать в utf-8 - json записался, но в кракозябрах. Это, конечно, не вариант.

[ThunderCat]

Ошибки нет никакой.

json_encode не отрабатывает из-за кодировки.

Не находите что тут у вас противоречие? Либо ошибки нет, и кодирование отрабатывает, либо ошибка есть, тогда естественно не работает, и надо смотреть ошибку.

[maiskiykot]

Ошибка вынесена мной в вопрос - как перекодировать текст из ASCII в utf-8.

[ThunderCat]

maiskiykot, не тупите, все что не выполняется выводит ошибку, то что вы ее не видите не означает что ее нет, для этого есть логи. + Я бы для начала разбил задачу на несколько и проверял по шагам:
1) Получить НЕБОЛЬШУЮ строку с сайта.(вывести что получилось, в дальнейших итерациях уже увеличивать)
2) Проверить строку на соответствие утф(mb_detect_encoding())
3) закодить в жсон
4) Profit

[maiskiykot]

Попробую разбить на части, но для меня это не выход - мне нужен весь массив данных. Проверял на соответствие - пишет utf-8. Почему я подумал на кривую кодировку, потому что при перекодировке из iso-8859 в utf-8 json создался только в кракозябрах, поэтому объем тут не при чем.

[Александр Шохров]

maiskiykot, если не перекодировать iso-8859→utf-8, json_encode молча записывает кракозябры, или ошибку выдаёт? Если ошибку, то какой текст ошибки?

[ThunderCat]

maiskiykot, а кто сказал что выход? Просто вы пытаетесь решить задачу которой скорее всего нет. Во первых как вы запускаете скрипт? Из cli или через браузер? Во вторых, если вам не понятна суть поиска ошибок в логах, то первыми строками вашего скрипта должно быть:

ini_set('error_reporting', E_ALL);
ini_set('display_errors', 1);
ini_set('display_startup_errors', 1);