Лекция 9.Потенциальные возможности дискретных каналов связи

Содержание лекции:

- основной понятийный аппарат теории информации.Поток ошибок в реальных каналах.

Цель лекции:

- сформулировать исходные понятия: частное количество информации, энтропия источника, количество информации, передаваемой по каналу связи (взаимная информация).

Пусть дискретный источник сообщений выдал некоторую последовательность символов а.Дадим формальное определение частного количества информации i (a),содержащейся в этом сообщении, исходя из следующих естественных требований:

а) количество информации i ( d )должно быть аддитивной функцией, т.е. для пары взаимно независимых сообщений а₁, а₂оно должно равняться сумме количества информации в каждом из них, т.е. i ( а₁, а₂) = i (а₁) + i (а₂);

б) количество информации, содержащейся в достоверном сообщении (имеющем вероятность Р(а)= 1), равно нулю;

в) количество информации должно зависеть только от вероятности переданного сообщения, т.е. i ( d ) = f ( P ( a ));

г) количество информации должно быть непрерывной функцией от Р(а).

Можно показать, что единственная функция, удовлетворяющая всем этим условиям, имеет вид

i ( a )=- logP ( a )≥0. (9.1)

Основание логарифма в (9.1) может быть выбрано произвольным, что влияет лишь на единицу измерения количества информации. Если в качестве основания выбрано 2, то информация измеряется в двоичных единицах или в битах, а если е (как в натуральных логарифмах), то информация будет измеряться в натуральных единицах или в нотах. Из соотношения (6.8) видно, что количество информации, содержащейся в сообщении, тем больше, чем меньше вероятность его появления, причём, количество информации, содержащейся в сообщении о "невозможном" событии, равно бесконечности.

Энтропия источника сообщений. Для того, чтобы получить исчерпывающую информационную характеристику источника сообщений, который, вообще говоря, может выдавать последовательности неограниченной длины, нужно вычислить предел среднего количества информации i ( a^[ⁿ^]), отнесённый к одному символу последовательности. Полученная величина, обозначенная через H (А), называется энтропиейисточника сообщений, т.е. если источник не обладает памятью, то, используя свойство логарифмической функции, легко показать, что его энтропия будет

, (9.2)

где P (a_i),i =0,1,..., K -1, —вероятности выдачи источником символов a_iA,причём они не зависят от номера элемента последовательности, так как источник является стационарным. Прежде чем пояснить наглядный смысл нового понятия энтропии, опишем её основные свойства:

а) H(А) ≥ 0,причём H(А) = 0 тогда и только тогда, когда одна из последовательностей имеет единичную вероятность, а все остальные — нулевую. (Это свойство очевидно из определения энтропии);

б) для любого стационарного источника сообщений

. (9.3)

Поскольку выражение в правой части (9.3) - это энтропия источника без памяти, то данное свойство означает, что память уменьшает энтропию источника;

в) для любого стационарного источника сообщений

, (9.4)

причём, равенство имеет место тогда, и только тогда, когда источник не имеет памяти и все его символы равновероятны.

Воспользовавшись свойствами 1-3, можно наглядно пояснить смысл понятия энтропии — это средняя информативность источника на один символ, определяющая "неожиданность" или "непредсказуемость" выдаваемых им сообщений. Полностью детерминированный источник, выдающий лишь одну, заранее известную последовательность, обладает нулевой информативностью. Наоборот, наиболее "хаотический" источник, выдающий взаимно независимые и равновероятные символы, обладает максимальной информативностью. Энтропия источника сообщений тесно связана с понятием его избыточности, которое формально определяется следующим образом

(9.5)

Как видно из выражения (9.5), чем больше энтропия источника, тем меньше его избыточность и наоборот.

Если источник сообщений имеет фиксированную скорость симв/с, то определим производительностьисточника H’(А) как энтропию в единицу времени, (секунду)

H’(A)=υ_иH(A). (9.6).

Количество информации, передаваемой по каналу связи (взаимная информация). Определимусловную энтропию H(Х|У) входа канала Х при известном выходе Y как МО

, (9.7)

где верхний индекс п в квадратных скобках означает длину входных и выходных последовательностей.

В частном случае канала без памяти легко получить из (9.8)

. (9.9)

Условная энтропия обладает следующими свойствами:

а) H(Х|У)≥ 0. (Доказывается по определению H(Х|У));

б) если вход и выход канала связаны взаимно однозначно, т.е.

то H(Х/Y) =0 (Это свойство очевидно);

в) H(Х|У) ≤ (X); (9.10)

г) H(Х|У) =H(Х), (9.11)

тогда, и только тогда, когда Р(х|у)= Р(х) при всех , , т.е. когда х и увзаимно независимы. Приведённые выше свойства позволяют наглядно пояснить смысл понятия условной энтропии Н(Х Y). Это средняя информация, теряемая с каждым символом в канале связи из-за помех.

Определим количество информации,передаваемой по каналу связи I(X,Y), или взаимную информацию между выходом Yи входом Х как разность между количеством информации, поступающей на вход (которое, как мы знаем, равно энтропии входа H(Х)), и количеством информации, потерянным в канале связи (которое, как мы только что выяснили, равно условной энтропии H(Х|Y)).

I(X,Y) = H(Х) - H(Х Y). (9.12)

Эта величина обладает следующими свойствами:

а) I(X,Y) = I(Y,X) = H(Y) - H(Y|Х);

б) I(X,Y) ≥ 0

(Следует непосредственно из свойства 3 условной энтропии);

в) I(X,Y) = 0, тогда и только тогда, когда вход и выход канала статистически независимы, т.е. Р(у|х) = р(у) при всех х Х", yY". (Следует непосредственно из свойства 4 условной энтропии).

Определение взаимной информации иллюстрируется рисунком 9.1.

Если для канала связи задана скорость передачи υ_к [симв/с], то аналогично определению производительности источника можно определить скорость передачи информации по каналу связи I(X,Y)

I^’(X,Y) = υ_кI(Х,Y) [бит/с]. (9.13)

Определим пропускную способность Сдискретного канала связи с помехами как максимум количества информации I(X,Y) по всевозможным распределениям р( x ) входа канала, т.е.

и , (9.14)

где — длительность передаваемого единичного элемента. Из определения видно, что пропускная способность канала связи зависит только от свойств самого канала, т.е. входного и выходного алфавитов X, Y и заданного на них условного распределения вероятностей р(у|х), х Х", у Y", и не зависит от того источника, который подключён ко входу канала.

Рисунок 9.1 - Иллюстрация передачи информации по каналу с помехами

В реальных условиях прием двоичных символов всегда происходит с ошибками. Это означает, что вместо символа «1» принимается символ «О» и наоборот. Ошибки могут возникать из-за импульсных помех, действующих в канале связи; изменения за время передачи характеристик канала: снижения уровня передачи, нестабильности амплитудно- и фазо-частотных характеристик канала; кратковременных перерывов; ремонтно-профилактических работ на линии во время сеанса связи. Часть указанных причин носит эксплуатационный характер и в принципе может быть устранена такими мерами как повышение качественных показателей аппаратуры связи и особенно коммутационной техники.

Улучшению качества канала связи, особенно на линиях большой протяженности, способствует включение таких устройств как фазовые корректоры, регенеративные ретрансляторы и т. д. Несмотря на подобные меры, при работе по современному дискретному каналу вероятность ошибки (на единичный элемент) будет не меньше 10^-3-10^-4, однако при передаче данных допускается, чтобы P _ош не превышало 10^-6. Появление ошибок обычно носит случайный характер и, как правило, является следствием совокупности мешающих факторов, часть которых может быть вообще неизвестна. Поэтому целесообразно исследовать свойства потока ошибок математическим аппаратом теории случайных процессов. Имея такие модели, можно выбирать соответствующие меры повышения помехоустойчивости.

Критерий качества, пригодный для всех дискретных каналов, заключается в нормировании вероятности ошибки для данного вида сообщений. Так, вероятность ошибки при передаче данных - не более 10^-6 (на единичный элемент). Методы повышения верности можно разбить на две группы. К первой группе относятся методы увеличения помехоустойчивости приема единичных элементов, связанные с выбором уровня сигнала, отношения сигнал/помеха, ширины полосы канала, статистикой ошибок в канале связи и т. п. Ко второй группе относятся методы обнаружения и исправления ошибок, основанные на искусственном введении избыточности в передаваемое сообщение.

Дата добавления: 2018-09-20; просмотров: 391; Мы поможем в написании вашей работы!

Поделиться с друзьями:

⇐ Предыдущая 3 4 5 6 789 10 11 12 Следующая ⇒

Мы поможем в написании ваших работ!