Как исправить отличающийся символ в названии файла на macos и windows?

Question

[TemaKam]

Если создать файл на винде, в названии которого будет буква "й", перекинуть его на мак, а затем создать файл на маке с таким же названием и сравнить их названия - они будут отличаться

соответственно в коде на python сравнение также неправильно работает (список файлов через os.listdir()), кодировка при чтении содержимого не влияет на название
что нужно сделать, чтобы привести названия к 1 формату?

в байтах вот так названия

b'\xd0\xb4\xd1\x80\xd1\x83\xd0\xb7\xd0\xb5\xd0\xb9.txt'

- мак

b'\xd0\xb4\xd1\x80\xd1\x83\xd0\xb7\xd0\xb5\xd0\xb8\xcc\x86.txt'

os.path.normpath() не помогает

import os
s1 = b'\xd0\xb4\xd1\x80\xd1\x83\xd0\xb7\xd0\xb5\xd0\xb9.txt'
s2 = b'\xd0\xb4\xd1\x80\xd1\x83\xd0\xb7\xd0\xb5\xd0\xb8\xcc\x86.txt'
print(s1.decode("utf-8"), s2.decode("utf-8"), sep="\n")
print(s1.decode("utf-8") == s2.decode("utf-8"))
print(os.path.normpath(s1.decode("utf-8")) == os.path.normpath(s2.decode("utf-8")))

Comments

[Алан Гибизов]

Если нет кода python, не ставьте тэг python.

[TemaKam]

Алан Гибизов, ну нужно знать как привести названия к 1 формату на питоне - в вопросе указал про os.listdir()

[Алан Гибизов]

TemaKam, как куратор тэга python повторяю: упоминания не достаточно, чтобы ставить тэг языка. Требуется, чтобы проблема была либо в коде на языке, а фрагмент кода приведен а вопросе, либо у вас была конкретная проблема с конкретным нюансом языка.
А у вас проблема с кодировками.

Вот если бы вы привели свою попытку решения проблемы с кодировками на python с учетом разных ОС и у вас там что-то не складывалось…

[TemaKam]

Алан Гибизов, попытки нет, потому что непонятно что и где указывать надо для этого

[TemaKam]

Алан Гибизов, добавил еще в конец, теперь можно тег добавить?)

[TemaKam]

хотя добавлю еще код для воспроизведения

Answer 1

[fenrir]

В linux и macos все кодировки по-умолчанию совпадают с UTF-8, а windows с ее cp1251 и cp866 для любителей острых ощущений.
Что касается нормализации, есть 4 вида: NFC, NFD, NFKC и NFKD
В разницу композиции и декомпозиции углубляться не буду, для этого есть документация и W3C, но отмечу что NFKC и NFKD могут приводить к потере данных, поэтому лучше использовать NFC, а остальные использовать если ее недостаточно.

from unicodedata import normalize

def eq_nfc(str1, str2):
    return normalize('NFC', str1) == normalize('NFC', str2)

Answer 2

[TemaKam]

chatgpt дал такое решение

unicodedata.normalize('NFKC', s1_decoded)) == unicodedata.normalize('NFKC', s2_decoded)