Если бы в компьютере было 3 уровня напряжения, то формула информации имела место быть?

Question

[1Danshin1]

В учебнике есть формула D = log2(степень логарифма)N bits, где D-объем информации, N-кол-во различных состояний. Я вообще не понял откуда здесь степень 2 у логарифма, через поисковик нашел доказательство через энтропию, что для того, чтобы знак стал информацией необходимо задать ему вопрос, ответ на который даст 1 бит информации, а сам вопрос будет иметь два вывода: да и нет. Но если бы у нас было 3 состояния, то формула при 1 знаке выдала бы 2 бита(округляем в большую сторону, ведь чтобы закодировать двумя значениями 3 состояния надо минимум 2 бита: 00, 01, 10), хотя у нас по факту вопрос уже содержит не два ответа, а три, тем самым при записи одного знака мы также должны получать 1 бит информации. Разве на данный момент эта формула не частный случай для представления информации через двоичную систему, когда как в интернете преподносят это, как общую формулу информации?
https://medium.com/nuances-of-programming/введение...

Comments

[Drno]

так сейчас вроде нет таких систем, которые работают НЕ на двоичной системе...

[1Danshin1]

А я и не про различия аналоговой и цифровой системы, я именно что про формулу

Answer 1

[Wataru]

Тут все завязано на то, что бит - это 2 состояния. Поэтому и логарифм двоичный. Если бы бит имел 3 состояния, то он не был бы 2 двоичных бита - нельзя так округлять (давайте вы свою квартплату так же до 100000 округлите, вам нормально?). Логарифмы были бы по основанию 3, ведь каждый новый трибит умножал бы количество возможных состояний на 3.

Comments

[1Danshin1]

Поймите, в интернете приводят именно эту формулу и доказывают ее через энтропию, называя ее вывод информацией, когда на самом деле эта формула не показывает информацию, а является частным случаем для кодирования бинарной системой чисел. Там именно что всегда основание двойки и за бит, который называется мерой информации, принято именно двоичное состояние. Вот и спрашивается, зачем частную формулу выдавать за общую и бит, который называют мерой информации, приписывать только к бинарной системе.
Вопрос: неужели нам просто повезло, что данная формула подошла под цифровую систему? Почему они не вывели общую формулу, чтобы не путать тех, кто будет это изучать?

[hint000]

1Danshin1, да, вы правы, это частный случай (вы спрашиваете, зачем так? Ну вот вам интересно было докопаться до истины, а другим и так нормально, лишь бы зачёт сдать; не все же любят сложные объяснения; а некоторые студенты не усвоят даже частный случай).

Но и Wataru совершенно прав, что в теории информации нельзя так округлять. В теории количество информации не обязано быть целым числом. Если у вас вопрос и три возможных ответа, то количество информации = двоичный логарифм от трёх ~= 1.58 бита. Да, на практике вам потребуется 2 физических бита для хранения только 1.58 бит информации. Но представьте, что у вас 10 вопросов и по три ответа на каждый. Тогда с использованием двоичной памяти вам потребуется уже не 20 бит, а только 16 бит (ведь количество информации ~15.8 бит). И чем больше троичных вопросов, тем экономнее можно их упаковать в двоичную память.

[1Danshin1]

hint000, когда я разбирался с этой формулой без пояснений, то использовал комбинаторику, где N-это кол-во размещений с повторениями, следовательно степени 2 это разряды, а именно количество мест. То есть, если будет два места, где в каждом у нас 2 выбора(0 или 1; да или нет), то кол-во размещений(вариантов) будет на первом месте 2 и на втором 2, перемножаем и получаем 4, если будет три места, то перемножаем уже 3 двойки и т.д. И когда я получил объяснение и вывод формулы через аналогию с энтропию и вопросы, то я сильно удивился, ведь в своей работает они называют полученный 1 БИТ, как меру информации, когда они в расчетах тупо использовали логику бинарную Буля, вот у них и получалось всегда основание в 2. Ну теперь стало ясно, что на самом деле они получили частную формулу информации и бит от разных логик будет иметь разное значение. Вот зачем надо было всё усложнять, нельзя было сразу им написать в объяснении, что бит это разряд.

[hint000]

1Danshin1,

и бит от разных логик будет иметь разное значение

Вот тут у вас терминологическая ошибка.
Бит не может быть разным для разных систем счисления! Бит определяется как минимальная единица информации. При использовании троичной,.. десятичной,.. и т.д. системы будет троичный,.. десятичный,.. разряд, но это вовсе не бит. Важно называть вещи правильно, чтобы вас правильно понимали.

В двоичной системе один разряд хранит ровно один бит информации, поэтому возникает лёгкая путаница в терминах (поскольку троичных компьютеров было крайне мало за всю историю, то эта лёгкая путаница никогда никому не мешала и даже оказалась узаконенной (бит как двоичный разряд и бит как единица информации стали одним и тем же, хотя семантически это разные сущности)). Но вспомните, что бывают ещё и аналоговые вычислители. Там вовсе нет никаких разрядов, никаких систем счисления (до АЦП). Информация передаётся и обрабатывается, а как посчитать количество информации? :)

А? Э-э-э! (c)

[1Danshin1]

hint000, то есть, разряд из двоичной системы приравняли к мере информации, как когда-то цилиндр из сплава платины и иридия приравняли к мере килограмма. И уже исходя из этого, формула выше не частный случай, а общий для всех, если мы хотим описать сколько информации есть в десятичной, троичной и т.д системе, то мы должны её считать относительно двоичной системы, т.к так принято, верно?
У меня и был ступор из-за этого, что учёный считай ничего не доказал, а просто на примере Булевой логики вывел частную формулу, а все её считают за общий случай, многогласно называя бит мерой информации.

[hint000]

1Danshin1, допускаю, что вам попался не самый удачный учебник.
навскидку, попробуйте это window.edu.ru/resource/746/72746/files/itmo495.pdf
или это https://books.ifmo.ru/file/pdf/2346.pdf

Answer 2

[rPman]

Эта формула как мера, не предполагает конкретное значение, а описывает ее порядок/степень для оценки зависимости,

та же самая ситуация с трудоемкостью

, вас не сильно волнует (пока до конкретики не дойдешь) какая константа N у формулы N*x*log(x), вас волнует только X*log(x) ибо точно описывает на сколько алгоритм сложный

Так вот у логарифма есть свойство, что логарифм любой степени можно свести к логарифму любой другой степени, умножив на константу потому что logA(b)=logC(b)/logC(A), т.е. если у тебя основание 3 то log3(b)=log2(b)/log2(3) ~ 0.6309*log2(b) , константу убирают из рассмотрения и все сводится к тому же логарифму двойной степени

Т.е. при переходе от 2 к 3 битам количество информации изменится на константу, а не в степень, а значит незначительно и может быть исключено из рассмотрения

Comments

[1Danshin1]

А если переводить из 3 в 2, то 1/(lg(2)/lg(3))=1,58496250072, что существенно

[rPman]

существенно это когда вместо датацентра из 10-этажного здания, тебе хватает ящика с возможностью переноса двумя человеками

а в полтора раза - это несущественно... это имеет смысл когда нужно соптимизировать на реализации. Грубый и тупой пример - у тебя есть зарубежный поставщик с 3-битным хранилищем и местный с 2-битным, но из-за таможенных сборов (специально подобранных чтобы местного производителя поддержать) коэффициент затрат на приобретение становится выше бонуса от эффективности а 3-биность

а когда разница цен на порядок, уже никак

p.s. повторяю, формула не дает численный ответ, она дает только оценку зависимости, логарифм в таких случаях указывают без степени

[1Danshin1]

rPman, но в формулу D = log2(N), D-число битов, а не степень логарифма(2), то есть при подсчете двух состояний мы получим 1 бит, а при подсчёте с тремя состояниями( основание 3) мы получим не 1 бит, а 1, 58 бита, то есть Вы физически не можете записать 1 бит 3 состояний в 1 бите двух состояний, объема информации 1 бита 2 состояний не хватит. Пример: есть 3 регистра с именами: красный, зеленый, желтый. Для каждого регистра нужен адрес, мы используем 2 бита двух состояний: 00,01,10. Вы никак не сможете записать их 1 битом(0 или 1). А если возьмем 1 бит 3 состояний, то мы сможем это сделать: 0, 1, 2. Это существенная разница.