Почему файлы на русском языке, прикреплённые к письму, приходят битыми?

Question

[NyxDeveloper]

В моём приложении некоторые уведомления дублируются отправкой письма на почту. К письмам прикрепляются файлы, загруженные другими пользователями и они часто бывают названы по-русски. Эмпирическим путем было вычислено, что если имя файла прописано латиницей, то все приходит нормально, а те, что имеют в названии кириллицу приходят в формате .dat.
Также интересно и то, что в почтовых ящиках в браузере файлы с русскими символами в названии могут отображаться нормально, но в Outlook то же самое письмо будет содержать битые файлы.
Вот код отправки письма:

if self.send_mail and not self.mail_was_send:
            self.mail_was_send = True
            msg = MIMEMultipart()
            msg["Subject"] = self.short_text
            msg["From"] = EMAIL_HOST_USER
            msg["To"] = self.user.email
            msg.attach(MIMEText(self.text))

            # получаем список файлов действвия и добавляем их в сообщение
            for document in documents if documents else []:
                path = os.path.join(MEDIA_ROOT, document.file.path)
                attachment = MIMEApplication(open(path, "rb").read(), _subtype=document.file.name.split(".")[-1],
                                             name=document.filename)
                attachment.add_header('Content-Disposition', 'attachment', filename=os.path.basename(path))
                msg.attach(attachment)

            s = smtplib.SMTP_SSL('smtp.yandex.ru', 465)
            s.ehlo(EMAIL_HOST_USER)
            s.login(EMAIL_HOST_USER, EMAIL_HOST_PASSWORD)
            s.sendmail(EMAIL_HOST_USER, [self.user.email], msg.as_string())
            s.quit()

Comments

[spaceatmoon]

Кодировку проверяли?

[NyxDeveloper]

spaceatmoon, в ней как раз и дело. Сейчас пробую

msg = MIMEMultipart()
msg.set_charset("utf-8")

[NyxDeveloper]

spaceatmoon, а как имени файла указать кодировку? Если у меня могут быть как файлы на английском,так и на руссуом.

[spaceatmoon]

NyxDeveloper, вам нужно строку имени файла конвертировать в utf-8.

[NyxDeveloper]

spaceatmoon, я использую python3.8, в нем вроде все строки по умолчанию в utf-8. Делать что-то типа fu"{filename=os.path.basename(path)}" ну это совсем безумие. Как преобразовать в utf-8 то, что и так уже являетс utf-8? Или мне не хватает более глубокого понимания.

Answer 1

[MaxKozlov]

а как имени файла указать кодировку? Если у меня могут быть как файлы на английском,так и на руссуом.

Вот не помню, откуда исходно утащено(скорее всего SO), но рабочий вариант такой

// set appropriate headers for attachment or streamed file
// The theoretically correct syntax for use of UTF-8 in Content-Disposition is very weird: filename*=UTF-8''foo%c3%a4 (yes, that's an asterisk, and no quotes except an empty single quote in the middle)
// This example is the same as the one above, but adding the "filename" parameter for compatibility with user agents not implementing RFC 5987:
// Content-Disposition: attachment;
//         filename="EURO rates";
//         filename*=utf-8''%e2%82%ac%20rates
// Note: Those user agents that do not support the RFC 5987 encoding ignore “filename*” when it occurs after “filename”.
// http://tools.ietf.org/html/rfc6266#section-5
// 
header('Content-Disposition: attachment; filename="'.rawurlencode($file_name).'"; filename*=utf-8\'\''.rawurlencode($file_name));

Comments

[NyxDeveloper]

из какого это языка программирования?

[MaxKozlov]

NyxDeveloper, это пример на php, но адаптировать под ваш ведь не сложно?
Тем более что комментарий есть, в котром написано что конкретно делать

[NyxDeveloper]

MaxKozlov, я попробовал сделать encode() и преобразовать в байт-строку. Письмо пришло с нормальными форматами, но с названием в виде той самой байт строки. Суть проблемы заключается в том, что сама строка с названием файла имеет название

"файл.docx"<code>, а в заголовке принимает вид <code>"%D3%81%D1%D6%18%25%D9%D2.docx"<code>. Что с этим делать, я не знаю.

[MaxKozlov]

NyxDeveloper, У вас вообще какая версия питона, какая кодировка исходников ?
заморочился повторить ваш код - у меня кодировка имени файла вполне нормальная пришла. и содержимое не побилось.
С моими же добавками только хуже стало, так что как ответ - не очень :)

И если посмотреть сообщение, то нужный заголовок там уже стоит, MIMEApplication сам ставит как надо

Content-Transfer-Encoding: base64
Content-Disposition: attachment; filename*=utf-8''%D0%9B%D0%B0%D1%80%D0%B0-%D0%9A%D1%80%D0%BE%D1%84%D1%82.jpg
Content-Type: application/jpeg; name*=utf-8''%D0%9B%D0%B0%D1%80%D0%B0-%D0%9A%D1%80%D0%BE%D1%84%D1%82.jpg

[NyxDeveloper]

MaxKozlov, пробовали открывать в Outlook или Firebird? У меня в основном там проблема, во всех почтовиках в браузере открывается нормально, а вот в десктопных клиентах все плохо. Может это проблема POP3 или IMAP, но судя по тому, что письма с файлами на русском, отправленные из YandexMail открываются нормально, дело именно в отправке через SMTP.
Можно посмотреть на код? :)

[MaxKozlov]

слал на gmail, yandex и корпоративку с exchange+outlook, без firebird
gmail упорно показывает noname, остальные работают нормально
код практически ваш, комментарии - разные варианты

import os
import smtplib
import ssl
from collections import namedtuple
from email.mime.text import MIMEText
from email.mime.multipart import MIMEMultipart
from email.mime.application import MIMEApplication

msg = MIMEMultipart()
msg["Subject"] = "Subject"
msg["From"] = "[e-mail]"
#msg["To"] = "[e-mail]"
#msg["To"] = "[e-mail]"
msg["To"] = "[e-mail]"
msg.attach(MIMEText("test text"))

EMAIL_HOST_USER = 'user'
EMAIL_HOST_PASSWORD = 'password'

path = "D:/Лара-Крофт.jpg"

attachment = MIMEApplication(open(path, "rb").read(), _subtype="jpg",
                                 name=os.path.basename(path))

fn = {
  "filename": os.path.basename(path),
#  "filename*": ("utf-8''"+os.path.basename(path))
}
#attachment.add_header('Content-Disposition', 'attachment', **fn)
msg.attach(attachment)

#s = smtplib.SMTP_SSL('mail.corporate.ru', 465)
s = smtplib.SMTP('mail.corporate.ru', 25)
s.ehlo(EMAIL_HOST_USER)
s.starttls()
s.login(EMAIL_HOST_USER, EMAIL_HOST_PASSWORD)
s.sendmail(msg["From"], [msg["To"]], msg.as_string())
s.quit()
#print(msg.as_string())

без content-disposition по-моему всё равно все кроме gmail всё понимали как надо, уже не помню :)