php, опять про кодировки

Question

[MeroVingeR]

Hotmail отправляет письма в нежелательные из-за несоответствия кодировки самого письма (KOI8-R) и его тела. Заголовки to, subject, from отображаются нормально. Страница с формой в UTF-8.

	$data_charset = 'UTF-8'; // кодировка переданных данных
	$send_charset = 'KOI8-R'; // кодировка письма
	$to = mime_header_encode($name_to, $data_charset, $send_charset). ' <' . $email_to . '>';
	$subject = mime_header_encode($subject, $data_charset, $send_charset);
	$from = mime_header_encode($name_from, $data_charset, $send_charset).' <' . $email_from . '>';
	if($data_charset != $send_charset) {
		$body = iconv($data_charset, $send_charset, $body);
	}

В исходном коде письма отображаются крякозябры "ëÏÎÔÁËÔÙ". Декодер Лебедева говорит: CP1252 → KOI8-R.
Ок. Делаю замену как предлагает Ogra:

-	$body = iconv($data_charset, $send_charset, $body);
+	$body = iconv('utf-8', 'cp1252', $body);
+	$body = iconv('cp1251', 'KOI8-R', $body);

Теперь тело сообщения вообще пустое.
Причем $body теряется при utf-8=>cp1252.

Заголовки письма:

	$headers = "From: $from\r\n";
	$headers .= "Reply-To: [e-mail]\r\n";
	$headers .= "Return-Path: [e-mail]\r\n";
	$headers .= "X-Mailer: Drupal\n";
	$headers .= 'MIME-Version: 1.0' . "\n";
	$headers .= "Content-type: text/plain; charset=$send_charset; format=flowed\r\n";
	$headers .= "Content-Transfer-Encoding: 8bit\r\n";

Comments

[dsd_corp]

.ошибочно.

Answer 1

[m-haritonov]

Ок. Делаю замену как предлагает Ogra:
— $body = iconv($data_charset, $send_charset, $body);
+ $body = iconv('utf-8', 'cp1252', $body);
+ $body = iconv('cp1251', 'KOI8-R', $body);
Теперь тело сообщения вообще пустое.
Причем $body теряется при utf-8=>cp1252.

Не удивительно. Вы, во-первых переводите строку из кодировки с более обширным набором символов (utf-8) в кодировку с менее обширным (cp1252). Во-вторых, переводите строку в кодировку cp1252, которая не содержит русских символов. В-третьих, сначала перекодируете строку в кодировку cp1252, а далее почему-то считаете, что у Вас строка теперь не в кодировке cp1252, а в кодирокве cp1251 и перекодируете уже из неё обратно в utf-8.

Если вкратце, то эта манипуляция с перекодированием не нужна, а декодеру доверять не стоит, т.к. он может иметь большую погрешность.

Comments

[MeroVingeR]

На счет кодирования понял.
Значит скорее всего попадание писем в «нежелательные» никак не связано с кодировкой тела письма?

[m-haritonov]

Не знаю, здесь я говорил лишь об определённом участке кода. А почему Вы решили, что Hotmail отправляет письма в нежелательные именно из-за несоответствия кодировки самого письма и его тела? Тело пришедшего на hotmail письма как-то некорректно отображалось?

[MeroVingeR]

О причинах проблемы попадания отправленных писем на Hotmail в раздел нежелательные поддержка Microsotf хранит таинственное молчание. Единственное, что они мне сказали — проблема в заголовках и проверке обратным DNS запросом.

В соответствии с советами буржуйских интернетов, я дописал необходимые заголовки.
На хостинге, с помощью техподдержки, реализовал возможность обратного DNS запроса.
Однако письма по прежнему попадают в СПАМ.

И тут я заметил интересную особенность. Письма, приходящие от техподдержки попадают во входящие. Начал разбирать исходный код письма.
Весь текст письма в исходном коде отображается по-русски без каких либо проблем.
Поэтому я пришел к выводу, что моя проблема может скрываться в неправильной кодировке тела письма.

[m-haritonov]

Попробуйте поотправлять письма исключительно с текстом (именами отправителя и получателя, темой, сообщением и т.п.) на английском языке (символы которого во всех кодировках имеют одни и те же коды) и без манипуляций с перекодированием текста. Это позволит Вам понять, является ли кодировка причиной попадания Ваших писем в спам.

[MeroVingeR]

Вы правы. Письма по прежнему попадают в Нежелательные.
Будем разбираться дальше.

Answer 2

[NeX]

dkim, spf? заголовки письма на хотмаиле покажите. В Гмаил, Яндекс в спам не попадает?

Comments

[MeroVingeR]

Заголовки:

x-store-info:4r51+eLowCe79NzwdU2kRyU+pBy2R9QCqSZKvP8JfO7icAucymF+ka+XWAITqcBnntptoXJBx6C8tQKBzzrcp8tOKG538QS3+nzQGUPVpfcyLSRH0uqRrBMda8Lw4gb8eC1XzgYHOgw=
Authentication-Results: hotmail.com; spf=permerror (sender IP is X.X.X.X) smtp.mailfrom=[e-mail]; dkim=none header.d=fakefriends.ru; x-hmca=none header.id=[e-mail]
X-SID-PRA: [e-mail]
X-AUTH-Result: NONE
X-SID-Result: NONE
X-Message-Status: n:n
X-Message-Delivery: Vj0xLjE7dXM9MDtsPTA7YT0wO0Q9MjtHRD0yO1NDTD02
X-Message-Info: 7FmAUICozusKIYYG508tgLajs+urb8pHFVfmmi+CJIrxseYqsZriZmYqTko2iSNAmj03zMgxV0zhk4FK/c2T7J+j8jF9EXQiKIT7Wkwv0QRviQiSkGq8Oe3xRkRmob2hIYsrgWvs2yKbOpavenxotlDODSraMAIOvoprvKS8d9k=
Received: from splXX.hosting.reg.ru ([X.X.X.X]) by BAY0-PAMC2-F8.Bay0.hotmail.com with Microsoft SMTPSVC(6.0.3790.4900);
	 Thu, 25 Jul 2013 09:23:54 -0700
Received: by splXX.hosting.reg.ru (Postfix, from userid 10191)
	id 6404B1440A89; Thu, 25 Jul 2013 20:23:53 +0400 (MSK)
To: =?KOI8-R?B?8M/ExMXS1svB?= <[e-mail]>
Subject: =?KOI8-R?B?9MXT1CAoz9TQ0sHXydTFzNg6IPPF0sfFyik=?=
From: =?KOI8-R?B?88XSx8XK?= <[e-mail]>
Reply-To: [e-mail]
X-Mailer: Drupal
MIME-Version: 1.0
Content-type: text/plain; charset=KOI8-R; format=flowed
Content-Transfer-Encoding: 8bit
Message-Id: <[e-mail]>
Date: Thu, 25 Jul 2013 20:23:53 +0400 (MSK)
Return-Path: [e-mail]
X-OriginalArrivalTime: 25 Jul 2013 16:23:54.0499 (UTC) FILETIME=[5B286D30:01CE8953]

Проблема только на Hotmail. Нежелательным сообщение считает служба Microsoft SmartScreen.

[m-haritonov]

Значения в заголовках «From» и т.п. Вы для примера заменили на example.com или с такими значениями Вы и отправляете письма? Если я правильно понимаю, то через механизм SPF как раз и проверяются значения заголовков вроде «From», в которых у Вас сейчас стоит левый адрес (т.е. в таком случае выходит, что Вы фактически и пытаетесь отправить письмо от чужого имени).

[MeroVingeR]

Подключена почта для домена от Hotmail.
Добавлены DNS записи, подтверждающие владение доменом. Все валидно, почтовая служба активна.

По поводу соответствия сервера и доменного имени.
Соответствующие записи сгенерированы при помощи мастера.

[m-haritonov]

И имел ввиду, какой адрес отправителя прописан у Вас в php скрипте, которым Вы почту отправляете? Вот в этом коде:

    send_mime_mail(@ trim ($_POST['name']),
        '[e-mail]',
        'Поддержка',
        '[e-mail]',
        'UTF-8',  // кодировка, в которой находятся передаваемые строки
        'KOI8-R', // кодировка, в которой будет отправлено письмо
        $subject,
        $body);

В версии кода, которую Вы выложили сюда, на хабр у Вас прописан «[e-mail]» в качестве емаил адреса отправителя. В Вашей версии php скрипта какое значение стоит: «[e-mail]» или «robot@ваш_домен_для_которого_в_dns_прописаны_spf_записи»?

[m-haritonov]

* опечатался в начале предыдущего комментария: не «И имел ввиду», а «Я имел ввиду».

[MeroVingeR]

Везде example.com соответствует домену_для_которого_в_dns_прописаны_spf_записи.
Именно поэтому он и не попадает в СПАМ в других почтовиках.
Такие заморочки только у Microsoft))

Answer 3

[dsd_corp]

Не факт, что прям поможет, но…
На всякий случай попробуйте в хидерах нормализовать переводы строк.
У вас перед заголовком «Content-type» предыдущие две строчки оканчиваются на одинарный "\n".
Из-за этого парсер письма может вообще не видеть заголовок «Content-type», т.к. будет его считать продолжением предыдущего заголовка, в данном случае продолжением аж «X-Mailer».

Comments

[MeroVingeR]

Разные переводы строк образовались из-за постоянных правок.
Заголовки в сообщении присутствую, значит парсер воспринимает нормально.
Попробовал поменять окончания строк, как вы и советовали. Результат тот же.
В любом случае спасибо за совет! Красота кода всегда важна)

Answer 4

[Murloc]

Бывает не работает «utf-8» c черточкой, попробуйте без просто «utf8». И ещё у вас разные там кодировки, utf-8=>cp1251 cp1252=>koi8-R

Comments

[MeroVingeR]

Тело письма отсутствует.
Оно теряется на

$body = iconv('cp1252', 'KOI8-R', $body);

По поводу кодировок
Именно так и предлагает Ogra.

[Murloc]

Там немного не так как у вас,
$string = iconv('utf-8', 'cp1252', $string); $string = iconv('cp1251', 'utf-8', $string);
Сначала в 1252, а не в 1251.

[MeroVingeR]

Упс…
Спасибо, действительно не заметил опечатки, но ситуацию это не меняет.
Теперь тело письма теряется на строке:

$body = iconv('utf-8', 'cp1252', $body);

[Murloc]

Я посмотрел у меня тоже не работает с русским utf-8=>cp1252, зато работает utf-8=>koi8-r, просто нужно чтобы у страницы был правильный header.
Если декодер Лебедева говорит: CP1252 → KOI8-R. значит ему пришлось из корявой cp1252 получить нормальный koi8-r. Т.е. исходник содержит именно koi8-r, но при выводе на страницу ему пришлось преобразовать его в 1252 и получились крякозябры. Нужно настроить header на koi8-r для вывода, если хотите увидеть нормальный текст.

[MeroVingeR]

Это письмо. Кодировка вывода уже прописана в headers.

Answer 5

[m-haritonov]

У функции mime_header_encode из Drupal (который Вы, судя по представленным Вами заголовкам письма и используете) нет параметров, задающих кодировки.

Comments

[MeroVingeR]

Это не друпал. Все свое, самописное)

<?php
function send_mime_mail (
	$name_from, // имя отправителя
	$email_from, // email отправителя
	$name_to, // имя получателя
	$email_to, // email получателя
	$data_charset, // кодировка переданных данных
	$send_charset, // кодировка письма
	$subject, // тема письма
	$body // текст письма
) {
	$to = mime_header_encode($name_to, $data_charset, $send_charset). ' <' . $email_to . '>';
	$subject = mime_header_encode($subject, $data_charset, $send_charset);
	$from = mime_header_encode($name_from, $data_charset, $send_charset).' <' . $email_from . '>';
	if($data_charset != $send_charset) {
		$body = iconv($data_charset, $send_charset, $body);
	}
	$headers  = "From: $from\r\n";
	$headers .= "Reply-To: [e-mail]\r\n";
	$headers .= "Return-Path: [e-mail]\r\n";
	$headers .= "X-Mailer: Drupal\n";
	$headers .= 'MIME-Version: 1.0' . "\n";
	$headers .= "Content-type: text/plain; charset=$send_charset; format=flowed\r\n";
	$headers .= "Content-Transfer-Encoding: 8bit\r\n";

	return mail($to, $subject, $body, $headers);
}

function mime_header_encode($str, $data_charset, $send_charset) {
	if($data_charset != $send_charset) {
		$str = iconv($data_charset, $send_charset, $str);
	}
	return '=?' . $send_charset . '?B?' . base64_encode($str) . '?=';
}

if (isset ($_POST['message'])) {
	$name_from = @ trim ($_POST['name']);
	$email_from = @ trim ($_POST['email']);
	$psubject = @ trim ($_POST['subject']);
	$message = @ trim ($_POST['message']);

	$subject = "$psubject (отправитель: $name_from)";
	$body = "Тема: $psubject \n\n $message \n\n Имя: $name_from \n\n Контакты: \n $email_from";

	send_mime_mail(@ trim ($_POST['name']),
		'[e-mail]',
		'Поддержка',
		'[e-mail]',
		'UTF-8',  // кодировка, в которой находятся передаваемые строки
		'KOI8-R', // кодировка, в которой будет отправлено письмо
		$subject,
		$body);
}
?>

Answer 6

[Максим Иванущик]

PHPMailer.

Comments

[MeroVingeR]

Уже пробовал.
По прежнему крякозябры и папка «Нежелательные».
P.S. Так же менял кодировку всего письма на utf-8. Результат тот же.

Answer 7

[NeX]

pf=permerror (sender IP is X.X.X.X) smtp.mailfrom=[e-mail]; dkim=none
настраивайте spf и dkim habrahabr.ru/post/106589/

Comments

[MeroVingeR]

Статья годная, читал, но пока это хостинг с подключенной почтой для доменов, а не vps. Не думаю, что получиться прописать ключи.

Answer 8

[romy4]

Заголовки письма, написанные кодировкой, с отличающимеся от ANSI символоами должны быть записаны специальным образом: =?кодировка?B?тело-заголовка-в-base64?= в соответствии с RFC-1342. На сколько помню, неправильная запись плохо воспринимается outlook

Comments

[MeroVingeR]

Вы правы. Заголовки так и прописаны:

To: =?KOI8-R?B?8M/ExMXS1svB?= <[e-mail]>
Subject: =?KOI8-R?B?9MXT1CAoz9TQ0sHXydTFzNg6IPPF0sfFyik=?=
From: =?KOI8-R?B?88XSx8XK?= <[e-mail]>

Answer 9

[EugeneOZ]

Ой, что Вы мучаетесь. Есть Mandrill с огромным лимитом бесплатных писем, все эти проблемы там сто раз решены. Юзать можно и как smtp, и по API — гораздо проще отправлять вложения и всё такое. Не тратьте время на решение сто раз решённых задач.

Answer 10

[aggrrrh]

При преобразовании из utf-8 там могут быть символы отсутствующие в целевой кодировке. Тогда конвертация останавливается на этом символе. Попробуйте выполнять iconv с параметром //IGNORE