Как определить способ кодирования текста?

Question

[Rett-oo]

Мне необходимо спарсить данные из файла сохранения игры для дальнейшей работы с ними.
Собственно проблема заключается в том, что мне не известна кодировка файлов сохранений. Не помогли никакие конвертеры, даже этот. Я пытался перевести в байты командой .encode() и далее в любую читаемую кодировку(utf-8, ascii, etc.). Так же пытался перевести из шестнадцатеричного в utf-8, ascii (да-да...не смейтесь, я просто уже отчаялся от того что не могу решить эту задачу)
Читал документацию на официальном сайте Python по библиотеке codecs, естественно прочитал множество статей на тему кодировок на подобии этой или этой, но ничего пока что решить не смог.
Вопрос: Я что-упускаю? Может быть я не учитываю возможность смещения кодировки символов?
я нашёл например сайт(его гит) который парсит данные с загружаемого файла, но вот как он это делает я так и не понял.

Answer 1

[Saboteur]

А с чего ты взял что данные закодированы каким-то известным способом?
Каждый разработчик может придумать все что он хочет, и в случае хранения бинарных данных, тут никакие конвертеры не помогут.
Тем более что ты вообще путаешь кодировку символов и формат произвольного бинарного файла данных.
вопрос совершенно не элементарный.
Плохо, что ты
1) путаешь java и javascript
2) из всего кода ты нашел самое неправильное место, а надо было хотя бы сюда https://github.com/bmaupin/js-civ5save/blob/master... заглянуть
3) нужно немного побольше понимания что вообще происходит в компьютерах, перед тем как ломать игрушки

Comments

[Rett-oo]

Спасибо, что поправили, но я различаю java и javascript,ошибся.
Видимо я указал неверную ссылку(хотел на папку src). Я конечно ранее уже просматривал все файлы, но понимания это мне не дало. Конкретно в этом скрипте, если я правильно понимаю, и идёт расшифровка, поскольку определяется смещение байта, но это делается побуквенно? Неужели только так возможно расшифровывать имеющиеся файлы?
Я понимаю, что кодировка символа, это скажем, адрес символа, который необходим компьютеру для более быстрой работы с ним, а бинарный файл это нетекстовый файл, на машинном языке, но разве нельзя конвертировать его в символы utf-8?
p.s. я вовсе не хочу ломать игрушки, хочется сделать вспомогательный инструменты для игры в anno 1800, всего лишь :)

[Saboteur]

Я понимаю, что кодировка символа, это скажем, адрес символа, который необходим компьютеру для более быстрой работы с ним, а бинарный файл это нетекстовый файл, на машинном языке, но разве нельзя конвертировать его в символы utf-8?

А какой смысл?
Вот есть у тебя число 33. Зачем его переводить в символы, если в savefile можно сразу хранить число?
При чтении savefile его таким образом не надо будет переводить из символов в байты.

Конкретно в этом скрипте, если я правильно понимаю, и идёт расшифровка, поскольку определяется смещение байта, но это делается побуквенно?

Да, просто считывается какой-то байт по смещению и переводится в символы чтобы отобразить на экране.
Но основная суть, что смещение байт каким-то образом уже ЗАРАНЕЕ было вычислено, и в том файле на который я кинул ссылки как раз и перечисляются все смещения, где что находится и какой длины там данные.

Вся прога делает простую вещь: взять из savefile данные, смещения которых уже заранее известны, и с ними работать.
Какого-либо волшебного способа вычислить по какому смещению что находится автоматически - нет.

[Rett-oo]

Saboteur, Понял. Спасибо большое за разъяснение. Теперь я точно знаю, что это не кодировка которую не могу определить. По видимому надо будет изучать тему шифрования текста. Вот уж не думал что в начале пути с такими сложностями столкнусь...

[Saboteur]

По видимому надо будет изучать тему шифрования текста

эм.. а это тут причем?

Ты понимаешь чем бинарные данные отличаются от текста, и чем кодирование отличается от шифрования?

[Rett-oo]

Saboteur, если правильно понимаю, то файл с бинарными данными это грубо говоря набор команд для процессора, а текст это результат этих команд, или, если можно так выразиться бинарные данные это "текст" для машины. Кодирование же отличается от шифрования тем, что преобразует текст в машинный язык, а шифрование(оно конечно бывает разное) заменяет символы или байты другими символами/байтами. Но поскольку я так и не смог определить кодировку имеющихся у меня текстовых файлов различными инструментами и библиотеками питона, то предположил, что и в моём случае тоже используется шифрование

[Saboteur]

в голове полная каша.

бинарный исполняемый файл, это грубо говоря набор команд для процессора, плюс заголовок который указывает операционной системе как его загрузить и начать выполнять. Может содержать и данные.

А просто бинарные данные - это хранение данных, не переводя их в символы какой-либо кодировки.

Шифрование это вообще отдельный процесс, когда ты шифруешь данными алгоритмом шифрования (тысячи их). И он как может иметь место при сохранении сейва (чтобы кулхацкеры не ломали), так и не может. Для твоей игры видимо шифрования нет вообще.

Если мне нужно сохранить в сейве например количество жизней, патронов и гранат, я буду просто хранить байты. Не символы в виде цифр, а просто значения в байтах.

Байт = 8 бит.
Если хранить просто бинарные данные, в 1 байт я могу поместить число от 0 до 255, а в два байта от 0 до 65535.
Если же я вдруг по какой-то причине собрался хранить числа СИМВОЛАМИ, то для сохранения числа 65535 мне нужно будет сохранить целых пять символов, то есть 5 байт. Вдобавок чтобы выполнять расчеты, эти символы нужно будет еще перекодировать из текста в число, на что тоже нужно процессорное время.

Почитай БАЗУ. Что такое байт. Что такое системы исчисления. Что такое файл.
Нужно отличать шифрование от кодирования. Кодирование от кодировки. Текст от числа.
Изучи базовые типы данных в ЛЮБОМ языке программирования (char, int, string, boolean, array)

[Rett-oo]

Насчёт базы, я сейчас в процессе чтения Starting Out with Python ,Gaddis Tony. Там я уже узнал о целых числах, числах с плавающей точкой, комплексных числах, списках ,кортежах и т.д. Но вот про системы счисления действительно стоит вспомнить..
Отличие кодирования от шифрования я немного понял. Один процесс направлен на преобразование в байты, другой же используя ключ и алгоритм шифрования, зашифровывают имеющиеся данные, не меня их тип. Опять же поправьте если я не в ту сторону понимаю.
Про то, что файлы сохранения могли храниться в байтах я совсем не подумал.. но я думаю что в моём случае это не причина, по которой файл нельзя прочитать. Разве если бы файл хранился в байтах я бы не видел такую картину при открытии например в саблайме?
x50\x4e\x47\x0d\x0a\x1a\x0a\x00\x00\x00\x0d\x49\x48\x44\x52\x00\
вместо этого я наблюдаю
e"lP8°½"ýý>(Tðüÿ,(8ÿmµp½Âîh#xŽÉ†ƒBýc²ådÿ˜3蟓£ÿ59ê_“Küs

[Saboteur]

Rett-oo,
То. что ты наблюдаешь, это и есть бинарный файл. КОгда байты это просто байты, а не конкретно символы.
Мда..
"Starting Out with Python ,Gaddis Tony."
Это фигня. Ты читаешь о структурах внутри языка программирования.
А надо базовую архитектуру PC почитать о том, что такое байт, как он хранится.

Вот если люди первым делом изучают ассемблер, такие вещи сразу понятны.
Ты же догадываешься, что в компьютере все хранится в виде 0 и 1 ?
Теперь вот подумай, как из 0 и 1 сделать дробные числа.

[Rett-oo]

Понял, уделю базовой архитектуре больше времени в изучении.
Допустим это бинарный файл, хотя я не могу понять как вы это определили, ведь тут присутствуют символы
Да, я знаю, что 0 и 1 это то, посредством чего компьютер считывает сигналы. Но понимание как перевести из байтов в дробные числа не дают мне понимание как из байтов перевести в читаемый текст. Даже допустим что то из этого не является типом данных строка, что то всё равно же должно читаться

[Saboteur]

Текстовый файл отличается от бинарного тем, что по определению в нем хранятся только те байты, которые представляют читабельные символы. Кодировка тут даже вторична, ибо есть некие стандарты, например во всех кодировках пробел это x20h и так далее.
И такого бреда

А твой пример явно показывает, что там есть нечитабельные символы.
Если открыть файл, который в саблайм (ТЕКСТОВЫЙ РЕДАКТОР) ты видишь x50\x4e\x47\x0d\x0a\x1a\x0a\x00\x00\x00\x0d\x49\x48\x44\x52\x00\, это значит что ты видишь не байты, а символы
символ x, символ 5, символ 0, символ \. И если перевести текстовую строку в байты, то "x50\" будет так:
78 35 30 5C │ x50\

Но понятно, что 78, 35,30,5C ты не можешь увидеть в текстовом редакторе. Только в hex редакторе, который читает байты и показывает байты.

[Rett-oo]

Saboteur, с этим согласен, но не могу тогда понять почему при попытке прочитать файл в бинарном режиме через функцию питона он мне всё равно выводит \xfc\xa2\x82\.. Ладно, это был риторический вопрос. Не буду вас больше мучать, спасибо за разъяснение, буду дальше постигать азы что бы когда-нибудь решить эту задачу