Где теряется кодировка при отправке файла через POST?

Question

[Дмитрий]

Спасите!

Есть парсер на питоне, есть файл в кодировке UTF-8.

Когда читаю файл с диска, парсер его нормально жует:

import codecs
txt = codecs.open('file.txt', 'r', encoding='utf-8').read()
result = parse(txt) # OK!

Когда этот же файл вставляю в форму textarea и отправляю на сервер через POST, то парсер перестает работать. В частности он уже не может найти символ переноса строки

txt = request.POST.get('txt')
result = parse(txt) # Облом! Не находит '\n'!

В парсере есть поиск по регуляркам и поиск по src.startswith()

if src.startswith('\n'):
    ...

Вообще интересует вопрос, где что в какой кодировке бродит? На сервере Django.

По идее при отправке через форму все преобразуется в urlencode, но потом после приема все должно назад приводиться к UTF-8, что подтверждается выводом данных из POST обратно в шаблон. Т.е. в textarea выводится все тот же файл, все с теми же переносами... Но парсер почему-то уже так не считает :(

Comments

[Дмитрий]

Конечно я в консоль печатаю все что только можно! :)
print(txt) из файла и из POST-а выглядят абсолютно одинаково - везде все переносы сохранены.

[Дмитрий]

Pavel Denisov, не-не. Я тут попробовал сохранить файл через POST и сравнил с исходным.
Оказалось, что отличия есть!
Исходный в Midnight Commander "нормально" показывается, а сохраненный через POST в конце каждой строки имеет такой спец-символ ^M, как будто я открыл в Линуксе виндовый текстовый документ.

Я так понимаю, ^M - это не просто \n, а \n\r ???

Т.е. print() нам покажет в обоих случаях все одинаково, хотя окончания строк разные!

[Дмитрий]

Pavel Denisov, да тут теперь даже не понятно, что считать нормой: то-ли \n, который красиво смотрится в линуксовом редакторе, то-ли \n\r, который автоматом после прогона через POST добавляется...

В любом случае, спасибо, что помогли разобраться! :)

Answer 1

[Дмитрий]

Оказалось, что при прогоне через textarea POST у файла концы строк \n автоматически заменяются на \n\r, что удалось разглядеть только сохранив POST-файл и сравнив с исходным.

При этом print() выводит в консоль все одинаково, поэтому найти отличия можно только в редакторе, который имеет функцию отображения спец-символов переносов строки (mcedit под linux, например).