Как получить кодировку сайта?

Question

[DmitryPros]

BufferedReader body = new BufferedReader(new InputStreamReader(con.getInputStream(), "utf-8");
String tempLine, outString = "";
while ((tempLine = body.readLine()) != null)
     outString += tempLine + " ";
body.close();
return outString;

По умолчанию читаю поток в кодировке utf-8, но могут попасться сайты с другой кодировкой, как ее определить, если ее название не возвращается в Headers?

Пробовал писать отдельный метод и читать первую строку, извлекать название кодировки из тела документа, но в таком случае body.readLine() выводит текст не со второй строки, а из середины документа, на картинке видно, что tempLine берет инфу явно не из следующей строки:

Answer 1

[Labunsky]

В тот момент, когда ты получаешь строку, она уже в любом случае хранится в джавовской UTF-16. Именно поэтому кодировка указывается для ридера до начала чтения.
С уже считанной строкой, если она была прочитана не в той кодировке и "испорчена", а кодировка все неизвестна, ничего сделать нельзя.
Для того, чтобы определить кодировку исходников сайта, который выгружаешь, нужно сначала получить его не в строковом виде, а массивом байт. После этого, можно работать с ним и уже определять кодировку либо с помощью своих костылей, либо уже существующих чужих.

Comments

[Labunsky]

Да, это сложный, но правильный вариант.
Если интересует простое рабочее решение - просто сделай набор распространенных кодировок (их там даже десятка не наберется, CP1251 и UTF8 покрывают 99.9% всех сайтов) и проверяй их по-очереди: берем первую, если есть артефакты (относительно легко найти программно) - переходим к следующей

Answer 2

[AStek]

Из заголовка ответа (responce header-a).

Comments

[DmitryPros]

как ее определить, если ее название не возвращается в Headers?

[AStek]

DmitryPros: А что ты используешь для коннекта? Я не узнаю библиотеку.

[Labunsky]

AStek: это стандартная библиотека JDK :)

[AStek]

Labunsky: печаль, я всегда apache httpclient использовал. Там обычно с этим нет проблем.

[Labunsky]

AStek: для получения хтумль-страничек использовать библиотеки - жуткий оверхед, там нативного кода на пять строк