Что это за кодировка?

Question

[Ankozar]

На php собираю новости с сайта. Штук 15 сайтов уже парсятся нормально, сейчас столкнулся с проблемой кодировки текста на исходном сайте.

Получаю заголовки новостей отсюда: www.tyumen-judo.ru/news

Php мне выдаёт, например: ÐндÑÑÑÑÐ¸Ñ ÑпоÑÑа!

Погуглил - нашёл mb_convert_encoding.

Но прикол в том, что на сайте и так кодировка utf-8! Это прописано в мета. И мой php, через mb_detect_encoding, тоже говорит что это utf-8.

Вот нет идей, почему так отображается и как это пофиксить.

UPD: конвертация кракозябр в CP1252 даёт читаемый текст! Но php (и все декодеры) по-прежнему определяет исходную кодировку как utf-8. А мне, блин, надо чтобы универсальный алгоритм для парсинга текста был. То есть, для всех сайтов я в БД храню атрибут или селектор, по которому он на сайте ищет нужный элемент и вытаскивает из него данные. И все сайты в utf-8, вроде. Я бы написал условие, при котором нужно конвертить текст, но как тут поступить - хз.

Answer 1

[Ankozar]

Нашёл: https://www.cyberforum.ru/php-network/thread226548...

Проблема в том что библиотека не может считать кодировку, сама на свое усмотрение что то делает с кодировкой.

На странице указана кодировка в таком формате
HTML5

<meta http-equiv="content-type" content="text/html;charset=utf-8">

Мне вот такая штука помогла:

$content = file_get_contents('https://sitename.com/?p=503810');
 $doc = phpQuery::newDocument('<meta charset="utf-8">' . $content);

Собсно, я вот это у себя написал:

$doc = phpQuery::newDocument('<meta charset="utf-8">' . $content);

И текст стал парситься как надо.

Answer 2

[Александр]

Answer 3

[Дмитрий]

Есть принципиально другой, более унифицированный способ собирать контент с сайтов - RSS. Часто работает даже там, где явно не присутствует. В XML, насколько я вижу, с кодировками все в порядке, да и парсить их просто (правда, полный текст произвольной статьи так не получить):
www.tyumen-judo.ru/rss.xml

Comments

[Ankozar]

А мне текст и не нужен. Мне только заголовки, картинки и ссылку на новость.

Я с самого начала думал про рсс. Но на некоторых сайтах их не видел.
Хм....

Придётся ещё раз про рсс читать.

А как получается, что значка рсс нет, а рсс есть? Как он формируется, можете в двух словах написать?

И как, например, вот тут найти рсс? https://depkult.admtyumen.ru/OIGV/culture/news/news.htm
И вот тут: https://xn--80aaahj7avhbcajldsgk4c.xn--p1ai/

[Дмитрий]

Общего ответа тут вряд ли получится дать. Конкретно здесь я посмотрел html-код страницы, увидел, что движок - Drupal, и нагуглил дефолтный URL для RSS у этого движка. Это сработало.

[Ankozar]

И, в общем, я остаюсь при своём методе... =(

Но некоторые сайты на рсс переведу, видимо. Спасибо вам!

[Дмитрий]

Ankozar, есть RSS-лента для сайта - https://admtyumen.ru/ogv_ru/subscribe/news_rss.htm
Может и для сайта на поддомене получится URL подобрать

[Ankozar]

Дмитрий, Вот конкретно эта лента выдаёт битые ссылки на новости. Она бесполезна получается. =( Ну или мне менять подход и ссылку давать на страницу с лентой новостей сайта. Но это получается всё равно два действия для юзверя: переход на ленту, потом на новость. А я хочу минимизировать путь к новости. И да - для каждого поддомена на этом сайте нужна своя лента =( Там штук 30 департаментов, каждый в свою категорию новостей попадает. Из общего rss их забирать неудобно.

В общем. rss - не панацея для меня, к сожалению.