Как сделать так, чтобы не возникало ошибок с кодировкой при вставке в QTextBrowser?

Question

[TemaKam]

вставляю строки из файла в qtextbrowser, потом сохраняю их в файл примерно так (при изменении qtextbrowser)

self.accounts = []
lists = self.all_accounts_task.toPlainText().split('\n')
for l in lists:
        if l != '' and l != '\n':
            self.accounts.append(l)
self.all_accs_task.setText(str(len(self.accounts)))
cfg = ConfigParser()
cfg.read('settings/default/tasks.ini', encoding='utf-8')
cfg[self.task_name].update({'accs': '\n'.join(self.accounts).replace('%', '%%')})
cfg[self.task_name].update({'all_accs_task': str(len(self.accounts))})
with open('settings/default/tasks.ini', 'w', encoding='utf-8') as setfile:
        cfg.write(setfile)

то есть указываю utf-8 везде, но если я вставлю строку, которая выглядит так

то в qtextbrowser она вставится кое-как
но при сохранении в файл уже получаю ошибку

UnicodeEncodeError: 'utf-8' codec can't encode character '\uda36' in position 20: surrogates not allowed

а на самом деле там такие символы:
как сделать так, чтобы такие символы вставлялись в qtextbrowser сразу нормально (на русском)?

настройки qtextbrowser:

Answer 1

[Yupiter7575]

использовать библиотеку io:

import io
with io.open('test.txt', 'w') as f:
    pass

Comments

[TemaKam]

проблема не только с файлом.

[Yupiter7575]

TemaKam, вы попробовали?

[TemaKam]

Yupiter7575, я в вопросе указал - нужно, чтобы в qtextbrowser уже вставлялось все нормально

[Andy_U]

Что-то у вас с настройками QTextBrowser, но без минимального воспроизводимого примера трудно помочь. Ну, и в google по строке 'Python QTextBrowser utf-8' искали?

[TemaKam]

Andy_U, а какие конкретно настройки нужно показать? по умолчанию по идее, так что любое приложение с qtextbrowser можно создать и вставить строку как на скрине

[TemaKam]

TemaKam, сюда не могу ее привести, она тоже преображается просто в символы

[Andy_U]

TemaKam, Я могу создать проект в PyCharm, загрузить туда ваши файлы и посмотреть, что не так при запуске. Но делать с нуля - увольте.

[TemaKam]

Andy_U, да вот, пожалуйста, конечно, говорю же там только qtextbrowser накинуть и все

# -*- coding: utf-8 -*-

# Form implementation generated from reading ui file 'test_form.ui'
#
# Created by: PyQt5 UI code generator 5.15.1
#
# WARNING: Any manual changes made to this file will be lost when pyuic5 is
# run again.  Do not edit this file unless you know what you are doing.


from PyQt5 import QtCore, QtGui, QtWidgets
import sys


class Ui_MainWindow(object):
    def setupUi(self, MainWindow):
        MainWindow.setObjectName("MainWindow")
        MainWindow.resize(800, 600)
        self.centralwidget = QtWidgets.QWidget(MainWindow)
        self.centralwidget.setObjectName("centralwidget")
        self.textBrowser = QtWidgets.QTextBrowser(self.centralwidget)
        self.textBrowser.setGeometry(QtCore.QRect(90, 60, 611, 441))
        font = QtGui.QFont()
        font.setPointSize(9)
        self.textBrowser.setFont(font)
        self.textBrowser.setUndoRedoEnabled(True)
        self.textBrowser.setLineWrapMode(QtWidgets.QTextEdit.NoWrap)
        self.textBrowser.setReadOnly(False)
        self.textBrowser.setObjectName("textBrowser")
        MainWindow.setCentralWidget(self.centralwidget)

        self.retranslateUi(MainWindow)
        QtCore.QMetaObject.connectSlotsByName(MainWindow)

    def retranslateUi(self, MainWindow):
        _translate = QtCore.QCoreApplication.translate
        MainWindow.setWindowTitle(_translate("MainWindow", "MainWindow"))

class ExampleApp(QtWidgets.QMainWindow, Ui_MainWindow):
    def __init__(self):
        super().__init__()
        self.setupUi(self)

def main():
    app = QtWidgets.QApplication(sys.argv)
    window = ExampleApp()
    window.show()
    app.exec_()


if __name__ == '__main__':
    main()

ну и вот символы если те вставлять в него (не могу их сюда привести никак, ибо преобразуются в другое), то будут именно какие-то символы, а не русские буквы

[Andy_U]

TemaKam, Ну и? Копирую туда русский текст в utf-8. Без проблем...

[TemaKam]

Andy_U, я про символы, которые в вопросе
Если они находятся в файле и я копирую оттуда и вставляю куда-то, то вместо русских символов появляются другие

[Andy_U]

TemaKam, Ну как я могу повторить ваши действия? Расшарьте файл, что-ли.

P.S. Вот только что открыл Word, сделал insert symbol, выбрал произвольный символ из греческого алфавита, скопировал его в виджет, он отобразился правильно.

[TemaKam]

Andy_U, да вот никак не могу передать, в этом и проблема
при сохранении в другой файл символы русскими становится, или даже при сохранении текущего файла после удаления другой информации
при вставке этих символов в другие места вставляются просто символами, а не русскими буквами и не в кодировке

в notepad типо кодировка utf-8 - меняю на ansi и появляются русские буквы, меняю обратно на utf-8 - опять таки закодированные символы
и вот если эти закодированные символы вставляю куда-то, то вставляются не русские буквы, а просто значки

[Andy_U]

TemaKam, Запакуйте ваш кривой файл 7zip'ом, положите, на какой-нибудь файлообменник и пришлите ссылку.

[TemaKam]

Andy_U, вот проблема в том, что не могу, там много данных других, которые нельзя распространить(
так бы уже давно прислал
а при сохранении utf-8 меняется на win-1251 и при повторном открытии уже нормальные символы

[Andy_U]

TemaKam, А тем же питоном открыть файл в бинарном режиме, вырезать не секретную часть и сохранить опять же в бинарном виде в другой файл никак?

[TemaKam]

Andy_U, сохранилось с русскими буквами)
но вот вывод в консоль если что этих символов
\xe3\xf0\xe0\xed\xe8\xf6\xe0

[Andy_U]

TemaKam,

сохранилось с русскими буквами)
но вот вывод в консоль если что этих символов
\xe3\xf0\xe0\xed\xe8\xf6\xe0

Вам помощь нужна или поговорить? Что сохранилось, куда сохранилось? Какая консоль?

[TemaKam]

Andy_U, это был ответ на ваш вопрос, вроде же понятно все

А тем же питоном открыть файл в бинарном режиме, вырезать не секретную часть и сохранить опять же в бинарном виде в другой файл никак?

открыл файл с rb, прочел, вывел в консоль строку,
сохранил строку с wb - сохранились русские символы, не в utf

[Andy_U]

TemaKam,

открыл файл с rb, прочел, вывел в консоль строку,

Должны были вывестись байты! используйте print(repr(...)). И покажите вывод.

[TemaKam]

Andy_U, если вы про обрамление строки в b'', то так и было, я просто убрал

[Andy_U]

TemaKam, Вот нет чтобы сразу сказать... Тогда у вас в том файле unicode_escape:

def main() -> None:

    b = b'\xe3\xf0\xe0\xed\xe8\xf6\xe0'
    print(b.decode('unicode_escape'))


if __name__ == '__main__':
    main()

И да, вывод в консоль:
ãðàíèöà

[TemaKam]

Andy_U, так, и возможно как-то сделать так, чтобы при вставке в программу вставлялись русские символы? или проще файл перекодировать

[TemaKam]

Andy_U, еще кстати в latin-1 выводит

[TemaKam]

Andy_U, а вообще вот

[Andy_U]

TemaKam, см. тут

[Yupiter7575]

TemaKam, Andy_U, Я весь день на позитиве от вашего диалога))

[TemaKam]

Andy_U, как мне это поможет, если я вставляю эти символы из буфера обмена в qtextbrowser, и там они сразу заменяются на неверные символы (не на русские)?

[Andy_U]

TemaKam, А кстати, да, unicode_escape - это когда \u. A файл - да, конечно, перекодировать. Точнее читать с encoding='cp1251'.

[Andy_U]

Yupiter7575, Кодировки, дело такое...

[TemaKam]

Andy_U, да вот суть вопроса как раз в том, что файл я не читаю, а копирую данные в буфер обмена и потом просто вставляю в программу
И был вопрос, помощью pyqt это можно как-то обработать, чтобы вставлялись русские символы, или же только изменять сам файл сначала

[Andy_U]

TemaKam,

как мне это поможет, если я вставляю эти символы из буфера обмена в qtextbrowser, и там они сразу заменяются на неверные символы (не на русские)?

В какой программе вы делаете делаете сopy? Тот же редактор Far manager'а, даже если файл в ANSI (cp1251), в буфер обмена вставляет utf8... Попробeйте, создайте пустой файл, задайте кодировкук ANSI (Shift-F8), наберите русский текст, сохраните, откройте по F3 (с переходом в HEX) убедитесь, что там действительно CP1251, потом снова откройте на редактирование, соpy, потом paste в Qt...

[TemaKam]

Andy_U, из нотепада копирую

[Andy_U]

TemaKam, У меня notepad независимо от кодировки файла в буфер обмена utf8 посылает... Notepad++ тоже. Разбирайтесь с файлом... Ежели он опубликованию не подлежит - только сами.