Единицы измерения количества информации. Качество информации

8.Информатизация общества.6стр.

9.Подходы.6стр.

Информация может существовать в самых разнообразных формах:

в виде текстов, рисунков, чертежей, фотографий;

в виде световых или звуковых сигналов;

в виде радиоволн;

в виде электрических и нервных импульсов;

в виде магнитных записей;

в виде жестов и мимики;

в виде запахов и вкусовых ощущений;

в виде хромосом, посредством которых передаются по наследству признаки и свойства организмов и т.д. Предметы, процессы, явления материального или нематериального свойства, рассматриваемые с точки зрения их информационных свойств, называются информационными объектами.

Передача информации.                        

Всякое событие, всякое явление служит источником информации.

Информация передаётся в виде сообщений от некоторого источника информации к её приёмнику посредством канала связи между ними. Источник посылает передаваемое сообщение, которое кодируется в передаваемый сигнал. Этот сигнал посылается по каналу связи. В результате в приёмнике появляется принимаемый сигнал, который декодируется и становится принимаемым сообщением. Передача информации по каналам связи часто сопровождается воздействием помех, вызывающих искажение и потерю информации. Любое событие или явление может быть выражено по-разному, разным способом, разным алфавитом. Чтобы информацию более точно и экономно передать по каналам связи, ее надо соответственно закодировать.

Информация не может существовать без материального носителя, без передачи энергии. Закодированное сообщение приобретает вид сигналов-носителей информации. Они-то и идут по каналу. Выйдя на приемник, сигналы должны обрести вновь общепонятный вид. С этой целью сигналы пробегают декодирующее устройство, приобретая форму, удобную для абонента. Система связи сработала, цель достигнута. Когда говорят

о каналах связи, о системах связи, чаще всего для примера берут телеграф. Но каналы связи - понятие очень широкое, включающее множество всяких систем, самых разных.

Чтобы ясен был многоликий характер понятия “канал связи”, достаточно привести несколько примеров. При телефонной передаче источник сообщения - говорящий. Кодирующее устройство, изменяющее звуки слов в электрические импульсы, - это микрофон.

Канал, по которому передается информация - телефонный провод. Та часть трубки, которую мы подносим к уху, выполняет роль декодирующего устройства. Здесь электрические сигналы снова преобразуются в звуки. И наконец, информация поступает в “принимающее устройство”-ухо человека на другом конце провода. А вот канал связи совершенно другой природы - живой нерв. Здесь все сообщения передаются нервным импульсом. Но в технических каналах связи направление передачи информации может меняться, а по нервной системе передача идет в одном направлении.

Еще один пример - вычислительная машина. И здесь те же характерные черты. Отдельные системы вычислительной машины передают одна другой информацию с помощью сигналов. Ведь вычислительная машина -автоматическое устройство для обработки информации, как станок - устройство для обработки металла. Машина не создает из “ничего” информацию, она преобразует только то, что в нее введено.

канал связи

Рис.1.Общая схема передачи информации.

Подходы.

Комбинаторный подход.

Пусть переменное x способно принимать значения, принадлежащие конечному множеству X, которое состоит из N элементов. Говорят, что энтропия переменного равна

Указывая определенное значение x=a переменного x, мы «снимаем» эту энтропию, сообщая инфомацию

Если переменные x₁,x₂,...,x_k способны независимо пробегать множества, которые состоят соответственно из N₁,N₂,...,N_k элементов, то

Для передачи количества информации I приходится употреблять

двоичных знаков. Например, число различных «слов», состоящих из k нулей и единиц и одной двойки, равно 2^k(k + 1),
Поэтому количество информации в такого рода собщении равно

т.е. для «кодирования» такого рода слов в чистой двоичной системе требуется (всюду далее f≈g обозначает, что разность f-g ограничена, а f~g, что отношение f:g стремится к единице)

нулей и единиц. При изложении теории информации обычно не задерживаются надолго на таком комбинаторном подходе к делу. Но мне кажется существенным подчеркнуть его логическую независимость от каких бы то ни было вероятностных допущений. Пусть, например, нас занимает задача кодирования сообщений, записанных в алфавите, состоящем из s букв, причем известно, что частоты

появления отдельных букв в сообщении длины n удовлетворяют неравенству

Легко подсчитать, что при больших n двоичный логарифм числа сообщений, подчиненных требованию (3), имеет асимптотическую оценку:

Поэтому при передаче такого рода сообщений достаточно употребить примерно nh двоичных знаков.

Универсальный метод кодирования, который позволит передавать любое достаточно длинное сообщение в алфавите из s букв, употребляя не многим более чем nh двоичных знаков, не обязан быть чрезмерно сложным, в частности, не обязан начинаться с определения частот pr для всего сообщения. Чтобы понять это, достаточно заметить: разбивая сообщение S на m отрезков S₁, S₂,...,S_m, получим неравенство

Впрочем, я не хочу входить здесь в детали этой специальной задачи. Мне важно лишь показать, что математическая проблематика, возникающая на почве чисто комбинаторного подхода к измерению количества информации, не ограничивается тривиальностями.

Вполне естественным является чисто комбинаторный подход к понятию «энтропии речи», если иметь в виду оценку «гибкости» речи - показателя разветвленности возможностей продолжения речи при данном словаре и данных правилах построения фраз. Для двоичного логарифма числа N русских печатных текстов, составленных из слов, включенных в «Словарь русского языка С. И. Ожегова и подчиненных лишь требованию «грамматической правильности» длины n, выраженной в «числе знаков» (включая пробелы), М. Ратнер и Н. Светлова получили оценку

Это значительно больше, чем оценки сверху для «энтропии литературных текстов», получаемые при помощи различных методов «угадывания продолжений». Такое расхождение вполне естественно, так как литературные тексты подчинены не только требованию «грамматической правильности.

Труднее оценить комбинаторную энтропию текстов, подчиненных определенным содержательным ограничениям. Представляло бы, напри- мер, интерес оценить энтропию русских текстов, могущих рассматриваться как достаточно точные по содержанию переводы заданного иноязычного текста. Только наличие такой «остаточной энтропии» делает возможным стихотворные переводы, где «затраты энтропии» на следование избранному метру и характеру рифмовки могут быть до- вольно точно подсчитаны. Можно показать, что классический четырехстопный рифмованный ямб с некоторыми естественными ограничениями на частоту «переносов» и т. п. требует допущения свободы обращения со словесным материалом, характеризуемой «остаточной энтропией» порядка 0,4 (при указанном выше условном способе измерения длины текста по «числу знаков, включая про- белы»). Если учесть, с другой стороны, что стилистические ограничения жанра, вероятно, снижа- ют приведенную выше оценку «полной» энтропии с 1,9 до не более чем 1,1-1,2, то ситуация становится примечательной как в случае перевода, так и в случае оригинального поэтического творчества.
Да простят мне утилитарно настроенные читатели этот пример. В оправдание замечу, что более широкая проблема оценки количеств информации, с которыми имеет дело творческая человеческая деятельность, имеет очень большое значение.
Посмотрим теперь, в какой мере чисто комбинаторный подход позволяет оценить «количество информации», содержащееся в переменном x относительно связанного с ним переменного y. Связь между переменными x и y, пробегающими соответсвенно множества X и Y , заключается в том, что не все пары x, y, принадлежащие прямому произведению X.Y , являются «возможными». По множеству возможных пар U определяются при любом a X множества Y_a тех y, для которых
(a; y) U.

Естественно определить условную энтропию равенством

(где N(Y_x) - число элементов в множестве Y_x), а информацию в x относительно y−формулой

Например, в случае, изображенном в таблице имеем

Понятно, что H(y|x) и I(x:y) являются функциями от x (в то время как y входит в их обозначение в виде «связанного переменного»).
Без труда вводится в чисто комбинаторной концепции представление о «количестве информации, необходимом для указания объекта x при заданных требованиях к точности указания». (См. по этому поводу обширную литературу об «ε-энтропии» множеств в метрических пространствах.)
Очевидно,

Вероятностный подход.

Возможности дальнейшего развития теории информации на основе определений (5) и (6) остались в тени ввиду того, что придание переменым x и y характера «случайных переменных», обладающих определенным совместным распределением вероятностей, позволяет получить значительно более богатую систему понятий и соотношений. В параллель к введенным в §1 величинам имеем здесь

По-прежнему H_W(y|x) и I_W(x:y) являются функциями от x. Имеют место неравенства

переходящие в равенства при равномерности соответсвующих распределений (на X и Y_x). Величины I_W(x:y) и I(x:y) не связаны неравенством определенного знака. Как и в §1,

Но отличие заключается в том, что можно образовать математические ожидания MH_W(y|x), MI_W(x:y), а величина

характеризует «тесноту связи» между x и y симметричным образом.

Стоит, однако, отметить и возникновение в вероятностной концепции одного парадокса: величина I(x:y) при комбинаторном подходе всегда неотрицательна, как это и естественно при наивном представлении о «количестве информации», величина же I_W(x:y) может быть и отрицательной. Подлинной мерой «количества информации» теперь становится лишь осредненная величина I_W(x,y).

Вероятностный подход естествен в теории передачи по каналам связи «массовой» информации, состоящей из большого числа не связанных или слабо связанных между собой сообщений, подчиненных определенным вероятностным закономер- ностям. В такого рода вопросах практически безвредно и укоренившееся в прикладных работах смешение вероятностей и частот в пределах одного достаточно длинного временн.ого ряда (получающее строгое оправдание при гипотезе достаточно быстрого «перемешивания»). Практически можно считать, например, вопрос об «энтропии» потока поздравительных телеграмм и «пропускной способности» канала связи, требующегося для своевременной и неискаженной передачи, корректно поставленным в его вероятностной трактовке и при обычной замене вероятностей эмпирическими частотами. Если здесь и остается некоторая неудовлетворенность, то она связана с известной расплывчатостью наших концепций, относящихся к связям между математической теорией вероятностей и реальными «случайными явлениями вообще.

Но какой реальный смысл имеет, например, говорить о «количестве информации», содержащемся в тексте «Войны и мира»? Можно ли включить разумным образом этот роман в совокупность «возможных романов» да еще постулировать наличие в этой совокупности некоторого распределения вероятностей? Или следует считать отдельные сцены «Войны и мира» образующими случайную последовательность с достаточно быстро затухающими на расстоянии нескольких страниц «стохастическими связями?

По существу, не менее темным является и модное выражение «количество наследственной информации, необходимой, скажем, для воспроизведения особи вида кукушка. Опять в пределах принятой вероятностной концепции возможны два варианта. В первом варианте рассматривается совокупность «возможных видов» с неизвестно откуда берущимся распределением вероятностей на этой совокупности²(²Обращение к множеству видов, существующих или существовавших на Земле, даже при чисто комбинаторном подсчете дало бы совершенно неприемлемо малые оценки сверху (что-либо вроде <100 бит!).).
Во втором варианте характеристические свойства вида считаются набором слабо связанных между собой случайных переменных. В пользу второго варианта можно привести соображения, основанные на реальном механизме мутационной изменчивости. Но соображения эти иллюзорны, если считать, что в результате естественного отбора возникает система согласованных между собой характеристических признаков вида.

Алгоритмический подход.

По существу, наиболее содержательным является представление о количестве информации «в чем-либо (x) и «о чем-либо» (y). Не случайно именно оно в вероятностной концепции получило обобщение на случай непрерывных переменных, для которых энтропия бесконечна, но в широком круге случаев конечно.

Реальные объекты, подлежащие нашему изучению, очень (неограниченно?) сложны, но связи между двумя реально существующими объектами исчерпываются при более простом схематизированном их описании. Если географическая карта дает нам значительную информацию об участке земной поверхности, то все же микроструктура бумаги и краски, нанесенной на бумагу, никакого отношения не имеет к микроструктуре изображенного участка земной поверхности.

Практически нас интересует чаще всего количество информации в индивидуальном объекте x относительно индивидуального объекта y. Правда, уже заранее ясно, что такая индивидуальная оценка количества информации может иметь разумное содержание лишь в случаях достаточно больших количеств информации. Не имеет, например, смысла спрашивать о количестве информации в последовательности цифр 0 1 1 0 относительно последовательности 1 1 0 0. Но если мы возьмем вполне конкретную таблицу случайных чисел обычного в статистической практике объема и выпишем для каждой ее цифры цифру единиц ее квадрата по схеме

то новая таблица будет содержать примерно

информации о первоначальной (n - число цифр в столбцах).

В соответсвии с только что сказанным предлагаемое далее определение величины I_A(x:y) будет сохранять некоторую неопределенность. Разные равноценные варианты этого определения будут приводить к значениям, эквивалентным лишь в смысле I_A1≈I_A2, т.е.

где константа C_A1A2 зависит от положенных в основу двух вариантов определения универсальных методов программирования A₁ и A₂.

Будем рассматривать «нумерованную область объектов», т.е. счетное множество X={x}, каждому элементу которого поставлена в соответствие в качестве «номера» n(x) конечная последовательность нулей и единиц, начинающаяся с единицы. Обозначим через l(x) длину последовательности n(x). Будем предполагать, что
1) соответствие между X и множеством D двоичных последовательностей описанного вида взаимно однозначно;
2) D X, функция n(x) на D общерекурсивна [1], причем для x D

где C - некоторая константа;
3) вместе с x и y в X входит упорядоченная пара (x,y), номер этой пары есть общерекурсивная функция номеров x и y и

где C_x зависит только от x.

Не все эти требования существенны, но они облегчают изложение. Конечный результат построения инвариантен по отношению к переходу к новой нумерации n'(x), обладающей теми же свойствами и выражающейся общерекурсивно через старую, и по отношению к включению системы X в более обширную систему X' (в предположении, что номера n' в расширенной системе для элементов первоначальной системы общерекурсивно выражаются через первоначальные номера n). При всех этих преобразованиях новые «сложности» и количества информации остаются эквивалентными первоначальным в смысле ≈

«Относительной сложностью» объекта y при заданном x будем считать минимальную длину l(p) программы p получения y из x. Сформулированное так определение зависит от «метода программирования. Метод программирования есть не что иное, как функция φ(p,x)=y, ставящая в соответсвие программе p и объекту x объект y.

В соответсвии с универсально признанными в современной математической логике взглядами следует считать функцию φ частично рекурсивной. Для любой такой функции полагаем

При этом функция υ=φ(u) от u X со значениями υ X называется частично рекурсивной, если она порождается частично рекурсивной функцией преобразования номеров

Для понимания определения важно заметить что частично рекурсивные функции, вообще говоря, не являются всюду определенными. Не существует регулярного процесса для выяснения того, приведет применение программы p к объекту x к какому-либо результату или нет. Поэтому функция K_φ(y|x) не обязана быть эффективно вы числимой (общерекурсивной) даже в случае, когда она заведомо конечна при любых x и y.

Основная теорема. Существует такая частично рекурсивная функция A(p,x), что для любой другой частично рекурсивной функции φ(p,x) выполнено неравенство

где константа C_φне зависит от x и y.
Доказательство опирается на существование универсальной частично рекурсивной функции Φ(n,u), обладающей тем свойством, что, фиксируя надлежащий номер n, можно получить по формуле φ(u)=Φ(n,u) любую другую частично рекурсивную функцию. Нужная нам функция A(p,x) определяется формулой (Φ(n,u)определена только в случае n D,A(p,x) только в случае, когда p имеет вид (n,q), n D)

В самом деле, если

то

Функции A(p,x), удовлетворяющие требованиям основной теоремы, назовем (как и определяемые ими методы программирования) асимптотически оптимальными. Очевидно, что для них при любых x и y «сложность» K_A(y|x) конечна. Для двух таких функций A1 и A2

Наконец, K_A(y) = K_A(y|1) можно считать просто «сложностью объекта y» и определить «количество информации в x относительно y» формулой

Легко доказать (Выбирая в виде функции сравнения φ(p,x)=A(p,1), получим K^A(y|x)≤K^φ(y|x)+C^φ=K^A(y)+C^φ), что величина эта всегда в существенном положительна:

что понимается в том смысле, что I_A(x:y) не меньше некоторой отрицательной константы C, зависящей лишь от условностей избранного метода программирования. Как уже говорилось, вся теория рассчитана на применение к большим количествам информации, по сравнению с которым |C| будет пренебрежимо мал.

Наконец, K_A(x|x)≈0, I_A(x:x)≈0;K_A(x).

Конечно, можно избегнуть неопределенностей, связанных с константами C_φ и т. д., остановившись на определенных областях объектов X, их нумерации и функции A, но сомнительно, чтобы это можно было сделать без явного произвола. Следует, однако, думать, что различные представляющиеся здесь «разумные» варианты будут приводить к оценкам «сложностей», расходящимся на сотни, а не на десятки тысяч бит. Поэтому такие величины, как «сложность» текста романа «Война и мир», можно считать определенными с практической однозначностью. Эксперименты по угадыванию продолжений литературных текстов позволяют оценить сверху условную сложность при заданном запасе «априорной информации» (о языке, стиле, содержании текста), которой располагает угадывающий. В опытах, проводившихся на кафедре теории вероятностей Московского государственного университета, такие оценки сверху колебались между 0,9 и 1,4. Оценки порядка 0,9-1,1, получившиеся у Н. Г. Рычковой, вызвали у менее удачливых угадчиков разговоры о ее телепатической связи с авторами текстов.
Я думаю, что для «количества наследственной информации» предполагаемый подход дает в принципе правильное определение самого понятия, как бы ни была трудна фактическая оценка этого количества.

Единицы измерения количества информации. Качество информации.

Информация единицы измерения количества информации служат для измерения объёма информации — величины, исчисляемой логарифмически. Чаще всего Информация единицы измерения количества информации касается объёма компьютерной памяти и объёма данных, передаваемых по цифровым каналам связи. Единица — бит — является основой исчисления информации в цифровой технике. Особое название имеет 4 бита — ниббл (полубайт, тетрада, четыре двоичных разряда), которые вмещают в себя количество информации, содержащейся в одной шестнадцатеричной цифре. Итак, информация о единицах измерения количества информации будет выглядеть следующим образом: байт, килобайт, мегабайт, гигабайт. Понятия информация и единицы измерения количества информации и качество информации тесно связанымежду собой. Вопрос выбора информации, единицы измерения количества информации фактически равнозначен выбору основания для логарифма количества состояний. Следует также заметить, что информация, единицы измерения количества информации случайной величины точно равна логарифму количества состояний лишь при равномерном распределении. Во всех прочих случаях количество информации будет меньше.

Качество информации – один из важнейших параметров для потребителя информации. Качество информации определяется такими характеристиками, как репрезентативность, содержательность, достаточность, доступность, актуальность, своевременность, точность, достоверность, устойчивость. Наличие современных технологий инжиниринга позволяют постоянно улучшать качество информации. Создание системы менеджмента качества – это прекрасная возможность повысить уровень качества информации и привести его в соответствие с мировой практикой. Повышение качества информации является одной из приоритетных системных задач.

Использованная литература:                             

1.Пекелис В. Кибернетика от А до Я. М.,1990.

2.Дмитриев В.К. Прикладная теория информации. М., 1989.

3.Брюшинкин В.Н. Логика, мышление, информация. Л.: ЛГУ, 1988.

4.Успенский В. А. Лекции о вычислимых функциях. - М.: Физматгиз, 1960. 5.Kolmogorov A. N. On tables of random numbers // Sanknya. A, 1963.

Мы поможем в написании ваших работ!