Статистическая мера информации; количество информации по К. Шеннону. Примеры подсчёта.

Модель стат источник- приёмник сообщ-й: I= log N – мера Хартли не учитывает частоту появл-я сообщ-й, но в длинной послед-ти некот-е сообщ-я м. повтор., быть равновер. Рассм ситуацию, когда источник сообщ-й м.описать статистич (назвать случайным),и описание представлено распред-ем вер-тей сообщ-й от источника. Т.е. кроме алф-та сост-й N, учит-ся частоты появ сообщ-й, СУММ(i=1,N)Pi=1. Можно исп-ть бинар проц поиска,но перед этим ранжировать сообщ-я по убыв частот. Ранжированные сообщ-я разбить на 2 подмн-ва с по возможности равными суммар вер-ми, затем так же с кажд подмн-вом до отдельных сообщ-й. Т.о., ср длина проги для поиска сообщ-я будет короче, чем при исп-нии меры Хартли. Lcp=СУММ(i=1,N)Li Pi. На практике обычно не удаётся разбить мн-во частот на 2 подмн-ва с равными сумм вер-ми, но разбивают на примерно равные. Проги для поиска будут длиннее, чем в идеал случае, ср длина проги больше,выбор будет неоптим.

Стат мера инфы,закон Шенона: для такой ситуации Ш предложил распознавать не отдел сообщ-я,а блоки. Станов-ся возможным правильное ранжирование слов в памяти приёмн, ситуация близка к идеал. Определим кол-во инфы, необх в среднем для идентиф-ции отдел сообщ-я. Пусть текст разбит на слова по n-симв-в. В кажд из слов 1ый симв-л входит n1-раз, m-симв-л – nm-раз. СУММ(i=1,m)ni=n. Частоты вхождения Pi≈ni/n. СУММ Pi=1. Длинные слова не повтор-ся, если их N-штук, то их вер-ти одинак: P=1/N. Кол-во инфы в слове длиной N-симв-в: IN=log N. IN= log 1/Р, Р-вер-ть отдельного слова. Найдём вер-ть формир-я слова из n-независ неравновер симв-в. Формир-е длинн слова -событие типа произвед-я событий. Если события стат независ, то P(АВ)=Р(А)Р(В). Если симв-ы в слове стат независ, Р=П(i=1,m)Pi^ni. Подставим в ф-лу Хартли: In=log 1/П(i=1,m)Pi^ni; In=-log П Pi^ni;

Pi->ni/n если бескон длин слово, ni=n Pi; In=-log П Pi^(n Pi) –кол-во инфы в бескон длин слове; In=-nСУММ(i=1,m) Pi logPi –кол-во инфы для идентиф слова при стат незав симв-в. Вирт кол-во инфы для идентиф отдельн симв-а:

I=In/n=-СУММ(i=1,m) Pi logPi=H –ф-ла Шенона.

 Н -информационная энтропия! Характеризуетет степень неопред-ти сост-я ист-ка, информац способ-ть ист-ка, степ хаоса. Чем >Н ист-ка, тем > кол-ва инфы он производит. После идентиф-ии каждого сообщ-я неопред-ть сост-я источника исчезает, пр-к получает инфу. Потому количественно Н и I измеряются одинак,но это разн понятия. Энтропия-нечто определённое, характеризующееся вер-ми сост-й источника, а кол-во инфы- ср длина проги бинарной проц поиска сообщ-й.

Формулы для подсчёта описательных информации в информационной цепи.

Описательная информация - это такая информация, которая относится к наименьшему возможному числу информации, необходимых для описания неко­торого определённого сообщение в информационной цепи.

Исходная (реперная) информация - это описательная информация, необхо­димая для определения первого сообщения в информационной цепи.

Исходное сообщение - это сообщение, которое следует преобразовать с по­мощью исходной информации для получения первого сообщения в информаци­онной цепи.

1) Число информации D , описывающих одно сообщение в инфор­мационной цепи, состоящей из n различных сообщений, равно числу этих сооб­щений.

D₁=D₂=…=D_n=D=n

2) Для описания одного сообщения информационной цепи, содер­жащей основную информацию и состоящей из произвольного числа n сообщений достаточно двух описательных информации, т.е.

D1=D₂=…=D_n=D=2

3) Если в информационной цепи, состоящей из n сообщений, име­ется m классов, состоящих соответственно из n_a, n_b, …, n_m одинаковых сообще­ний, то среднее число описательных информации можно определить следующим выражением

Среднее число описательных информации одного сообщения информацион­ной цепи можно определить как среднее геометрическое средних чисел инфор­мации, описывающих сообщения для всех классов D=n/n_q

---

Дата добавления: 2018-05-12; просмотров: 378; Мы поможем в написании вашей работы!

Поделиться с друзьями:

---

---

Мы поможем в написании ваших работ!