Введение в анализ, синтез и моделирование систем



              

Меры информации в системе - часть 5


Пример. Выясним, сколько бит информации несет произвольное двузначное число со всеми значащими цифрами (отвлекаясь при этом от его конкретного числового значения, т.е. каждая из возможных цифр может появиться на данном месте, в данном разряде с одинаковой вероятностью). Так как таких чисел может быть всего 90 (10-99), то информации будет количество I=log290 или приблизительно I=6,5. Так как в таких числах значащая первая цифра имеет 9 значений (1-9), а вторая - 10 значений (0-9), то I=log290=log29+log210. Приблизительное значение log210 равно 3,32. Итак, сообщение в одну десятичную единицу несет в себе в 3,32 больше информации, чем в одну двоичную единицу (чем log22=1), а вторая цифра, например, в числе аа, несет в себе больше информации, чем первая (если цифры а обоих разрядов неизвестны; если же эти цифры а известны, то выбора нет и информация равна нулю).

Если в формуле Шеннона обозначить fi=-nlog2 pi, то получим, что I можно понимать как среднеарифметическое величин fi.

Отсюда, fi можно интерпретировать как информационное содержание символа алфавита с индексом i и величиной pi вероятности появления этого символа в сообщении, передающем информацию.

Пример. Пусть рассматривается алфавит из двух символов русского языка - "к" и "а". Относительные частоты встречаемости этих букв в частотном словаре русского языка равны соответственно p1=0.028, p2=0.062. Возьмем произвольное слово p длины N из k букв "к" и m (k+m=N) букв "а" над этим алфавитом. Число всех таких возможных слов, как это следует из комбинаторики, равно n=N!/(k! m!). Оценим количество информации в таком слове: I=log2n=lnn/ln2=log2e[lnN!-lnk!-lnm!]. Используя известную формулу Стирлинга (эта формула, как известно из математического анализа, достаточно точна при больших N, например, при N>100) - N!?(N/e)N), а точнее, ее важное следствие, - lnN!?N(lnN-1), получаем оценку количества информации (в битах) на 1 символ любого слова:

I1=I/N?(log2e/N)[(k+m)(lnN -1) - k(ln k-1) - m(ln m-1)]= =(log2e/N)[k ln(N/k) - m ln(N/m)]= = - log2e[(k/N) ln(k/N) + (m/N) ln(m/N)]
-log2e [p1 ln p1+p2 ln p2]= =-log2e[0,028 ln0,028+0,062 ln0,062]? 0,235.

Пример.


Содержание  Назад  Вперед