Как декодироавать строку без искажений?

Question

[serhiops]

Мне в качестве респонса от сервера прилетает строка такого типа:

b'\\r\\n\\r\\n\\u003cdiv id=\\"iwwait\\" class=\\"hm_overlay\\"\\u003e\\r\\n    \\u003cdiv class=\\"hm_loader\\"\\u003e\\r\\n    \\u003c/div\\u003e\\r\\n\\u003c/div\\u003e\\r\\n\\u003cdiv class=\\"hm_h_020\\"\\u003e\\u003c/div\\u003e\\r\\n\\u003cdiv\\u003e\\r\\n    \\r\\n    \\u003cdiv'

Чтобы распарсить я просто декодирую ее вот так:

html = server_response.decode('unicode_escape', 'ignore')

Оно правильно убирает все юникод символы, но при этом искажает некоторый текст. Например:
Zentrumsnähe -> Zentrumsnähe
При этом я сначала пробывал декдодить его в utf-8 и только потом в unicode_escape. Работает так же само. Как можно декодировать такой тип строк силами Python?

Answer 1

[Михаил Р.]

server_response = "..."  # https://gist.github.com/serrhiy/56b1f296cb7b4fbf42febaf8c08347a1

def decode_unicode_escapes(string):
    return re.sub(r'\\u([0-9A-Fa-f]{4})', lambda m: chr(int(m.group(1), 16)), string)

unicode_decoded = decode_unicode_escapes(server_response)

try:
    res = unicode_decoded.encode('utf-8').decode('utf-8')
except UnicodeEncodeError as e:
    print(f"Ошибка: {e}.")
    res = unicode_decoded.encode('utf-8', errors='replace').decode('utf-8', errors='replace')

print(res)  # <a href='https://www.immowelt.de/immoweltag/datenschutz' target="_blank" class="hm_link" title="Datenschutzerklärung der AVIV Germany GmbH">

Comments

[serhiops]

Не работает. Выдает такой же результат, вот ссылка на полный reponse:
https://gist.github.com/serrhiy/56b1f296cb7b4fbf42...

[Михаил Р.]

serhiops, а так?

server_response = b'\\r\\n\\r\\n\\u003cdiv id=\\"iwwait\\" class=\\"hm_overlay\\"\\u003e\\r\\n    \\u003cdiv class=\\"hm_loader\\"\\u003e\\r\\n    \\u003c/div\\u003e\\r\\n\\u003c/div\\u003e\\r\\n\\u003cdiv class=\\"hm_h_020\\"\\u003e\\u003c/div\\u003e\\r\\n\\u003cdiv\\u003e\\r\\n    \\r\\n    \\u003cdiv Zentrumsn\\xe4he'

decoded_response = server_response.decode('latin1')
final_response = decoded_response.encode('latin1').decode('unicode_escape')
print(final_response)

[serhiops]

Михаил Р., а разве что-то поменялось? Не работает, очень странная вещь, ведь если перевести в utf-8, отображается нормально, но при этом не экранируется юникод :(

[Михаил Р.]

serhiops, извините, копипаст на телефоне не сработал, а я думал вставился нужный код. Обновил ответ, теперь все работает.