Непрерывная и дискретная информация

Чтобы сообщение было передано от источника к потребителю, необходима некоторая среда – носитель информации. Примерами носителей информации являются воздух для передачи речи, лист бумаги и конверт – для отсылки текста письма. Сообщение передается с помощью сигналов. В общем случае, сигнал – это физический динамический процесс, так как его параметры изменяются во времени.

В случае, когда параметр сигнала принимает конечное число значений, и при этом все они могут быть пронумерованы, сигнал называется дискретным. Сообщение и информация, передаваемое с помощью таких сигналов, также называются дискретными. Примером дискретной информации являются текстовая информация, так как количество символов (букв) конечно и их можно рассматривать как уровни сигнала передачи сообщения.

Если параметр сигнала является непрерывной во времени функции, то сообщение и информация, передаваемая этими сигналами, называются непрерывные. Примером непрерывного сообщения является человеческая речь, передаваемая звуковой волной, с меняющейся частотой, фазой и амплитудой. Параметром сигнала в этом случае является давление, создаваемое этой волной в точке нахождения приемника – человеческого уха.

Непрерывное сообщение может быть представлено непрерывной функцией, заданной на некотором отрезке [а, b]. Дискретизация – это процесс преобразования непрерывного сигнала в дискретный сигнал с некоторой частотой. Для этого диапазон значений функции (ось ординат) разбивается на конечное количество отрезков равной ширины. Тогда дискретное значение определяется отрезком, в который попало значение функции, называемый шагом дискретизации. Чем меньше шаг дискретизации, тем ближе полученный дискретный к исходному непрерывному сигналу, а, следовательно, больше точность дискретизации.

Пример 2.2. На метеостанции каждые полчаса происходит замер температуры (рис. 2.1).

Рис. 2.1. Дискретизация непрерывного сообщения

Непрерывно меняющаяся температура замеряется РІ моменты x₁, x₂,…, x_n. Р’ журнал наблюдений записывается округленное значение температуры, являющееся дискретным значением. Р’ данном примере получасовой промежуток является частотой дискретизации, шаг дискретизации равен 1, так как РїСЂРѕРёСЃС…РѕРґРёС‚ округление РґРѕ целого цисла, Р° получасовые замеры температуры – процессом дискретизации. □

Адекватность информации и ее формы

Важным условием практического использования информации является ее адекватность.

Адекватность информации – это уровень соответствия образа, созданного на основе полученной информации, реальному объекту или явлению.

Адекватность информации выражается в трех формах.

1. Синтаксическая адекватность – это соответствие структуры и формы представления информации без учета ее смысла. Информация в виде данных обычно обладает синтаксической адекватностью.

2. Семантическая (смысловая) адекватность в отличие от синтаксической адекватности учитывает смысловое содержание информации.

3. Прагматическая (аксиологическая, потребительская) адекватность – это соответствие ожидаемой ценности, полезности использования информации при выработке потребителем решений для достижения своей цели.

Пример 2.3. Заказчик послал подрядчику сообщение: «Вышлите, пожалуйста, объем выполненных работ для отчета РІ течение недели». Подрядчик прислал ответ через 10 дней: «Объем выполненных работ составил 3 млн. СЂСѓР±.В». Заказчик ожидал число (РЅРµ график, РЅРµ СЂРёСЃСѓРЅРѕРє) Рё получил его, следовательно, информация синтаксически адекватна. Полученное число является объемом выполненных работ, следовательно, информация семантически адекватна. Подрядчик прислал сообщение СЃ опозданием, Рё ценность информации РІ нем потерялась, так как отчет должен был быть составлен ранее, следовательно, информация прагматически неадекватна. □

Синтаксическая мера информации

Вероятностный подход

Информация нуждается в измерении. На практике количество информации измеряется с точки зрения синтаксической адекватности. Исторически сложились два подхода к измерению информации: вероятностный и объемный. В 1940-х гг. К. Шеннон предложил вероятностный подход, а работы по созданию ЭВМ способствовали развитию объемного подхода.

Рассмотрим вероятностный подход к измерению количества информации в соответствии с первой концепцией информации (раздел 2.1).

Пусть система a может принимать одно из N состояний в каждый момент времени, причем каждое из состояний равновероятно. Например, в качестве системы могут выступать опыты с подбрасыванием монеты (N = 2) или бросанием игральной кости (N = 6).

Количество информации системы a вычисляется по формуле, предложенной Р. Хартли:

H = H(a) = log₂ N = .

При N = 2 количество информации минимально и равна H = 1. Поэтому в качестве единицы информации принимается количество информации, связанное с двумя равновероятными состояниями системы, например: «орел» – «решка», «ложь» – «истина». Такая единица количества информации называется бит.

Введем понятие вероятности. Вероятность события A – это отношение числа случаев M, благоприятствующих событию A, к общему количеству случаев N:

P = .

Пример 2.4. Найти вероятность выпадения числа 6 при бросании кости.

Решение. Всего граней у кости N = 6. Число 6 присутствует только на одной грани.

Следовательно, вероятность выпадения числа 6 при бросании кости:

P = = . □

Пример 2.5. Найти вероятность выпадения числа большего 3 при бросании кости.

Решение. Всего граней у кости N = 6. Чисел больших 3 на гранях кости M = 3.

Следовательно, вероятность выпадения числа большего 3 при бросании кости:

P = = = . □

Если N состояний системы неравновероятны, то есть система находится в i-м состоянии с вероятностью P_i, и при этом все состояния системы образуют полную группу событий, то есть сумма вероятностей равна 1:

= 1,

то используются следующие формулы, предложенные Шенноном.

Для определения количества информации в одном (i-м) состоянии системы:

H = ,

и среднего количества информации во всех состояниях системы:

H = = – .

Из приведенных выражений следует, что количество информации максимально, если состояния системы равновероятны.

Пример 2.6. Вычислительная система может находиться в одном из N = 3 состояний: «включено (простой)», «вычисление», «выключено». Оператор получил сообщение о состоянии системы. Какое количество информации получил оператор? Рассмотреть два случая:

1) состояния системы равновероятны;

2) состояния системы неравновероятны; вероятность нахождения системы РІ состоянии «включено (простой)В» P₁ = 0,3; состоянии «вычисление» P₂ = 0,5; состоянии «выключено» P₃ = 0,2.

Решение. В первом случае используем формулу Хартли:

H_С… = log₂ N = log₂ 3 = 1,58 Р±РёС‚.

Во втором случае используем формулу Шеннона:

H_С€ = – = – (0,3 log₂ 0,3 + 0,5 log₂ 0,5 + 0,2 log₂ 0,2) =

= – (– 0,52 – 0,5 – 0,46) = 1,48 Р±РёС‚. □

Значение количества информации, вычисленное по формуле Хартли, больше значения, вычисленного по формуле Шеннона.

Пример 2.7. Р’ условиях задачи РёР· примера 2.6 определить количество информации, которое получил оператор РІ сообщении Рѕ состоянии «выключено», вероятность которого P₃ = 0,2.

Решение. Используем формулу Шеннона для одного состояния:

H = = = 2,32 бита. □

Можно сделать вывод, что чем событие маловероятнее, тем больше информации может быть получено при его возникновении.

Объемный подход

Объем данных V в сообщении измеряется количеством символов (разрядов) в этом сообщении. В информатике в основном используется двоичная система счисления, то есть все числа представляются двумя цифрами: 0 и 1. Поэтому минимальной единицей измерения данных является бит. Таким образом, 1 бит – это либо 0, либо 1. Элемент, принимающий всего два значения, называется двухпозиционным и просто реализуется аппаратно, например, двумя состояниями «включено» – «выключено», «ток есть» – «ток отсутствует».

Более подробно о системах счисления будет рассказано в следующей главе.

Наряду с битом используется укрупненная единица измерения – байт, равная 8 бит.

Пример 2.8. Сообщение РІ двоичной системе счисления 10010010 имеет объем данных V = 8 Р±РёС‚. Этот объем данных представляется 1 байтом. □

Для удобства использования введены и более крупные единицы объема данных:

1024 байт = 1 килобайт (Кбайт);

1024 Кбайт = 1 мегабайт (Мбайт) = 1024² байт = 1048576 байт;

1024 Мбайт = 1 гигабайт (Гбайт) = 1024³ байт;

1024 Гбайт = 1 терабайт (Тбайт) = 1024⁴ байт;

1024 Тбайт = 1 пентабайт (Пбайт) = 1024⁵ байт.

Общий объем информации РІ книгах, цифровых Рё аналоговых носителях Р·Р° РІСЃСЋ историю человечества составляет РїРѕ оценкам 10¹⁸ байт. Зато следующие 10¹⁸ байт Р±СѓРґСѓС‚ созданы Р·Р° следующие 5-7 лет.

Отличие объема данных от количества информации заключается в следующем. Объем данных выражается только целыми значениями, а количество информации – вещественными.

Формулу Хартли можно использовать для определения объема данных. При этом результат округляется в большую сторону, так как минимальной ячейкой памяти в ЭВМ является байт. Поэтому, заняв только часть байта (его несколько бит), оставшаяся часть байта не используется.

Пример 2.9. В сообщениях используются только первые шесть букв латинского алфавита: A, B, C, D, E, F. Сколько байт необходимо для хранения сообщения «AABBCCD»?

Решение. Определим сколько бит необходимо для хранения одной буквы по формуле Хартли:

V_Р‘ = log₂ 6 = 2,58.

Результат округлим в большую сторону, следовательно:

V_Б = 3 бита.

Тремя битами можно представить 8 комбинаций: 000, 001, 010, 011, 100, 101, 110, 111. Для кодирования 6 букв используются первые шесть комбинаций, а две последние комбинации не используются.

Для сообщения, состоящего из M = 7 букв, необходимо

V_РЎ = M × V_Р‘ = 7 × 3 = 21 Р±РёС‚ = 2,625 байт

Результат вновь округлим в большую сторону:

V_РЎ = 3 байта. □

Показатели качества информации

Эффективность использования информации для принятия решений определяется показателями ее качества. Рассмотрим основные показатели качества информации, и чем они определяются.

Репрезентативность (объективность) определяется правильностью отбора и формирования информации в целях адекватного отражения свойств объекта.

Содержательность зависит от семантической емкости, равной отношению количества семантической информации в сообщении к объему сообщения.

Достаточность (полнота) – это минимальный, но достаточный для принятия правильного решения набор показателей. Как неполная, то есть недостаточная для принятия правильного решения, так и избыточная информация снижает эффективность принимаемых пользователем решений. Однако избыточная информация позволяет восстановить частично утраченную информацию. Например, в слове «дост*пнос*ь» потеряно 18% букв, однако можно понять по оставшимся буквам, что это слово «доступность». Русский язык, как и другие естественные языки, обладает большой избыточностью.

Доступность определяется степенью легкости восприятия и получения информации пользователем.

Актуальность определяется степенью соответствия информации моменту ее использования.

Своевременность определяется поступлением информации не позже заранее назначенного момента времени, зависящего от времени решения поставленной задачи.

Точность – это степень близости получаемой информации к реальному состоянию объекта, процесса, явления и т. п.

Достоверность – это вероятность того, что отображаемое информацией значение параметра отличается от истинного значения этого параметра в пределах необходимой точности.

Устойчивость – это свойство информации реагировать на изменение исходных данных, сохраняя при этом необходимую точность. Устойчивость и репрезентативность обусловлены правильностью выбора метода отбора и формирования информации.

Ценность определяется эффективностью принятых на основе полученной информации решений.