Владимир Дубровин

KOI8-R это 8-битная расширенная ASCII кодировка, использующаяся со времен СССР, на нее был ГОСТ 19768-74.
Основная особенность в том, что при откидывании старшего бита остается латинский символ, с соответствующим звучанием в инверсированном регистра, т.е.
a - A
б - B
ц - C
д - D
и т.д. Это позволяло при выводе 8-битного текста на семибитные нерусифицированные терминалы его читать, т.к. старший бит в них или не использовался, или использовался под признак инверсии или мерцания символа.
Так же получила распространение в электронной почте еще до появления стандарта MIME, к чему руку приложил достаточно известный во времена раннего интернета тов. Чернов из Релкома, она даже была стандартизована как RFC 1489. Сейчас используется все реже.

Да, есть. По базовым стандартам (RFC 2822 / RFC 5322) заголовки письма не могут содержать символов отличных от ASCII.

Есть расширение SMTPUTF8 (RFC 6531 / RFC 6532) которое позволяет слать заголовки в кодировке UTF-8 без MIME-кодирования в случае, если ваш сервер анонсирует SMTPUTF8 в ответе на команду EHLO.

Во всех других случаях, включая приведенный вами, использование восьмибитных символов в заголовках является нарушением действующих стандартов.

Юникод-кодировки UTF-8 и UTF-16 обе содержат в том числе и символы иврита.

Для кириллицы можно примерно такой алгоритм:

1. Задетектить UTF-16
обычно в начале текста присутствует Unicode-признак порядка U+FEFF, по нему можно отличить big endian / little endian.

Если признака нет, но в четных позициях текста (начиная с нуля) в основном символы с кодом 0x00 (для латиницы) и 0x04 (для кириллицы) - то это UTF-16 big endian, если в нечетных - little endian.

2. Задетектить UTF-8
все кириллические символы будут состоять из двух октетов, первый октет будет иметь значение 0xd0 или 0xd1, латиница будет совпадать с ASCII

3. Отличить Windows-1251 от KOI8-r - и там и там для кириллицы используют в основном символы с кодом 192-255, но в koi8-r сначала идут маленькие символы, в windows-1251 - сначала большие. Если текст преимущественно состоит из символов 192-223 но в начале предложения (после точки с пробелом) идут символы с кодом 224-255 - это ko8-r, если наоборот - windows-1251 + можно использовать частотный анализ символов. Латиница совпадает с ASCII.

Все остальные кодировки достаточно редки, правда китайцы (и почему-то Google) любят кодировать кириллицу в Big-5.