Реализация арифметического кодирования на python?

Question

[coldunox]

Образец кодирования в Excel


У меня уже есть подсчет частот

import collections

co = collections.Counter()
file_txt = open("test.txt","r", encoding='utf-8')
for line in file_txt:
    co.update(line.lower())

total, lo = sum(co.values()), 0
for k, v in co.most_common():
    hi = lo + v
    print('%f\t%c\t%f' % (lo / total, k, hi / total))
    lo = hi

Вывод в консоли

0.000000	ш	0.272727
0.272727	у	0.545455
0.545455	м	0.727273
0.727273	р	0.818182
0.818182	 	0.909091
0.909091	о	1.000000

Как видно из скриншота, справа идет текст побуквенно
Причем следующий шаг изменяет значения начального и конечного кодируемого символа согласно правилу:
High=Lowold+(Highold-Lowold)*RangeHigh(x),
Low=Lowold+(Highold-Lowold)*RangeLow(x),
где Lowold – нижняя граница интервала,
Highold – верхняя граница интервала
RangeHigh и RangeLow – верхняя и нижняя границы кодируемого символа.
Результатом является число, лежащее слева.

1) Каким образом лучше всего сохранить образец, так как он понадобится при пересчете значений ? Словарь, json ?

2) Как считывать побуквенно текстовый файл, применяя к нему алгоритм АК

Answer 1

[Александр]

json - достаточно быстро и человекочитаемо. Вы же его только один раз считываете, а не при каждой итерации. Так что всё ок.

Читать файл побуквенно:

# Открыть файл для чтения в текстовом формате с кодировкой UTF-8
with open(ФАЙЛ, mode='tr', encoding='utf8') as f:
    # Повторять вечно
    while True:
        # считать один символ
        c = f.read(1)
        # если ничего не считано, выходим из повторения
        if not c:
            break
        
        # обработка символа с

Comments

[coldunox]

Александр, вы имели в виду так?
with open("test.txt", mode='tr', encoding='utf8') as f.

Зачем f= ?

[Александр]

coldunox, ну конечно. Поправлю.

[coldunox]

Александр, я создал json файл

filename = "frequencies.txt"
myfile = open(filename, mode='w', encoding='utf-8')
myfrequencies = []
total, lo = sum(co.values()), 0
for k, v in co.most_common():
    hi = lo + v
    frequency = {'Letter': k,
    'low' : lo / total,
    'high' : hi / total}
    myfrequencies.append(frequency)
    lo = hi
json.dump(myfrequencies, myfile,ensure_ascii=False)
myfile.close()

Получилось
[{"Letter": "ш", "low": 0.0, "high": 0.2727272727272727}, {"Letter": "у", "low": 0.2727272727272727, "high": 0.5454545454545454}, {"Letter": "м", "low": 0.5454545454545454, "high": 0.7272727272727273}, {"Letter": "р", "low": 0.7272727272727273, "high": 0.8181818181818182}, {"Letter": " ", "low": 0.8181818181818182, "high": 0.9090909090909091}, {"Letter": "о", "low": 0.9090909090909091, "high": 1.0}]

Считать нужно весь файл по символам.
Как обратиться к полю letter и проверить его с текущим символом строки?
if c == json_data[i]:

Просто мне нужно пересчитывать эти буквы, пока не будет конец строки
Я могу создать новый файл, в котором смогу записывать все изменения частот
И когда будет последняя буква - нужно просто взять значение его low

[Александр]

coldunox, у вас (или у меня) путаница.

Я изначально понял, что первый вопрос о том что, вы хотите сохранить в файл какой-то словарь с рассчитанными данными, чтобы потом можно было легко загрузить файл и восстановить словарь, не генерируя его заново. Для этого я и порекомендовал формат JSON.