Количество информации при вероятностной зависимости сообщений

Количество информации и энтропия. Формула Хартли.

Информация - это сведения, относительно которых перед их получением имеется некоторая неопределенность. Потому что, если неопределенность отсутствует, то отсутствует и информация.

Таким образом, установлено, что количество информации определяется неопределенностью и связано с вероятностями появления событий. Такая связь выражается формулой (Это ф-ла Хартли)

, (2.1)

где I (x_i) - количество информации о событии,

P (x_i) - вероятность появления событий.

Следовательно, одновременно характеризует неопределенность данного события X_i и при его реализации определяет количество информации о данном событии.

Таким образом (2.1), может быть использовано для определения энтропии события

Формула Хартли

формула имела следующий вид: I=log₂K, Где К - количество равновероятных событий; I - количество бит в сообщении, такое, что любое из К событий произошло. Иногда формулу Хартли записывают так: I=log₂K = log₂ (1/р) = - log₂ р, т. к. каждое из К событий имеет равновероятный исход р = 1 / К, то К = 1 / р.

Мера неопределенности по Шеннону. Примеры использования.

Шеннон предложил формулу для вычисления количества информации для событий с различными вероятностями

Если I - количество информации,

К - количество возможных событий,

рi - вероятности отдельных событий,

то количество информации для событий с различными вероятностями можно определить по формуле:

I = - Sum р_i log₂ р_i,

где i принимает значения от 1 до К.

Формулу Хартли теперь можно рассматривать как частный случай формулу Шеннона:

I = - Sum 1 / К log₂ (1 / К) = I = log₂ К.

При равновероятных событиях получаемое количество информации максимально.

Пример: В одной группе 6 студентов из 24 получили в сессию неудовлетворительную оценку, а в другой - 9 из В каком случае сложнее предсказать успеваемость студента?

Решение. Используем формулу Шеннона

> , поэтому сложнее предсказать успеваемость студента во второй группе.

Свойства энтропии. Доказательство свойств.

1) Энтропия любого дискретного набора сообщений не отрицательна . Равенство нулю возможно лишь в том случае, когда источник генерирует одно единственное сообщение с вероятностью Р=1 в этом случае вероятности других сообщений равны нулю. Не отрицательность следует из того, что количество информации в каждом из возможных сообщений источника не отрицательно.
2) Пусть N - объем алфавита дискретного источника, тогда . Причем равенство имеет место, когда все сообщения источника равновероятные. Для доказательства этого рассмотрим разность, если все сообщения источника u_k k=1:N выдаются им с вероятностями P(u_k), тогда можно записать (1).

Для дальнейшего доказательства воспользуемся неравенством



что и требовалось доказать.

При этом в соответствии с (1) в том случае, когда (из этого равенства следует, что при этом ). Итак, максимально возможное значение энтропии дискретного источника с объемом алфавита N равно logN и достигается в том случае, когда все его сообщения равновероятны.

3) Энтропия объединения нескольких независимых статистических источников сообщений равна сумме энтропии исходных источников - свойство адетивности энтропии. Не теряя общности, ограничимся рассмотрением объединения u и z с объемами алфавита соответственно N и M. Под объединением двух источников u и z понимают обобщенный источник сообщений (uz) характеризующейся совместными P(u_iz_j) всех возможных комбинаций, состояния u_i - источника u, z_i - источника z. энтропия обобщенного источника будет равна: . В случае статистической независимости u и z;

, тогда

Количество информации при вероятностной зависимости сообщений

Среднее количество информации, содержащееся в одном из символов (букв, цифр) алфавита называется энтропией и определяется как математическое ожидание случайной величины : (67) Если символы равновероятны , то (68) Запишем теперь формулу для энтропии в случае, если символы имеют не только разные вероятности P(a_i), но и зависят один от другого. Обозначим условную вероятность появления символа a_j, если предшествующим был a_i. Тогда количество информации, приходящееся на один символ a_i определится как условная энтропия . (69) Среднее количество информации или энтропия источника с символами неравновероятными и взаимозависимыми будет равна

. (70) Частными случаями (70) являются (67) для неравновероятных и независимых символов и (68) для равновероятных и независимых символов. Наконец, для равновероятных, но взаимозависимых символов (70) представляется в виде (71)

Дата добавления: 2018-05-12; просмотров: 403; Мы поможем в написании вашей работы!

Поделиться с друзьями:

12 3 4 5 6 7 8 9 Следующая ⇒

Мы поможем в написании ваших работ!