Непрерывная и дискретная информация

Чтобы сообщение было передано от источника к потребителю, необходима некоторая среда – носитель информации. Примерами носителей информации являются воздух для передачи речи, лист бумаги и конверт – для отсылки текста письма. Сообщение передается с помощью сигналов. В общем случае, сигнал – это физический динамический процесс, так как его параметры изменяются во времени.

В случае, когда параметр сигнала принимает конечное число значений, и при этом все они могут быть пронумерованы, сигнал называется дискретным. Сообщение и информация, передаваемое с помощью таких сигналов, также называются дискретными. Примером дискретной информации являются текстовая информация, так как количество символов (букв) конечно и их можно рассматривать как уровни сигнала передачи сообщения.

Если параметр сигнала является непрерывной во времени функции, то сообщение и информация, передаваемая этими сигналами, называются непрерывные. Примером непрерывного сообщения является человеческая речь, передаваемая звуковой волной, с меняющейся частотой, фазой и амплитудой. Параметром сигнала в этом случае является давление, создаваемое этой волной в точке нахождения приемника – человеческого уха.

Непрерывное сообщение может быть представлено непрерывной функцией, заданной на некотором отрезке [а, b]. Дискретизация – это процесс преобразования непрерывного сигнала в дискретный сигнал с некоторой частотой. Для этого диапазон значений функции (ось ординат) разбивается на конечное количество отрезков равной ширины. Тогда дискретное значение определяется отрезком, в который попало значение функции, называемый шагом дискретизации. Чем меньше шаг дискретизации, тем ближе полученный дискретный к исходному непрерывному сигналу, а, следовательно, больше точность дискретизации.

Пример 2.2. На метеостанции каждые полчаса происходит замер температуры (рис. 2.1).

Рис. 2.1. Дискретизация непрерывного сообщения

Непрерывно меняющаяся температура замеряется в моменты x₁, x₂,…, x_n. В журнал наблюдений записывается округленное значение температуры, являющееся дискретным значением. В данном примере получасовой промежуток является частотой дискретизации, шаг дискретизации равен 1, так как происходит округление до целого цисла, а получасовые замеры температуры – процессом дискретизации. □

Адекватность информации и ее формы

Важным условием практического использования информации является ее адекватность.

Адекватность информации – это уровень соответствия образа, созданного на основе полученной информации, реальному объекту или явлению.

Адекватность информации выражается в трех формах.

1. Синтаксическая адекватность – это соответствие структуры и формы представления информации без учета ее смысла. Информация в виде данных обычно обладает синтаксической адекватностью.

2. Семантическая (смысловая) адекватность в отличие от синтаксической адекватности учитывает смысловое содержание информации.

3. Прагматическая (аксиологическая, потребительская) адекватность – это соответствие ожидаемой ценности, полезности использования информации при выработке потребителем решений для достижения своей цели.

Пример 2.3. Заказчик послал подрядчику сообщение: «Вышлите, пожалуйста, объем выполненных работ для отчета в течение недели». Подрядчик прислал ответ через 10 дней: «Объем выполненных работ составил 3 млн. руб.». Заказчик ожидал число (не график, не рисунок) и получил его, следовательно, информация синтаксически адекватна. Полученное число является объемом выполненных работ, следовательно, информация семантически адекватна. Подрядчик прислал сообщение с опозданием, и ценность информации в нем потерялась, так как отчет должен был быть составлен ранее, следовательно, информация прагматически неадекватна. □

Синтаксическая мера информации

Вероятностный подход

Информация нуждается в измерении. На практике количество информации измеряется с точки зрения синтаксической адекватности. Исторически сложились два подхода к измерению информации: вероятностный и объемный. В 1940-х гг. К. Шеннон предложил вероятностный подход, а работы по созданию ЭВМ способствовали развитию объемного подхода.

Рассмотрим вероятностный подход к измерению количества информации в соответствии с первой концепцией информации (раздел 2.1).

Пусть система a может принимать одно из N состояний в каждый момент времени, причем каждое из состояний равновероятно. Например, в качестве системы могут выступать опыты с подбрасыванием монеты (N = 2) или бросанием игральной кости (N = 6).

Количество информации системы a вычисляется по формуле, предложенной Р. Хартли:

H = H(a) = log₂ N = .

При N = 2 количество информации минимально и равна H = 1. Поэтому в качестве единицы информации принимается количество информации, связанное с двумя равновероятными состояниями системы, например: «орел» – «решка», «ложь» – «истина». Такая единица количества информации называется бит.

Введем понятие вероятности. Вероятность события A – это отношение числа случаев M, благоприятствующих событию A, к общему количеству случаев N:

P = .

Пример 2.4. Найти вероятность выпадения числа 6 при бросании кости.

Решение. Всего граней у кости N = 6. Число 6 присутствует только на одной грани.

Следовательно, вероятность выпадения числа 6 при бросании кости:

P = = . □

Пример 2.5. Найти вероятность выпадения числа большего 3 при бросании кости.

Решение. Всего граней у кости N = 6. Чисел больших 3 на гранях кости M = 3.

Следовательно, вероятность выпадения числа большего 3 при бросании кости:

P = = = . □

Если N состояний системы неравновероятны, то есть система находится в i-м состоянии с вероятностью P_i, и при этом все состояния системы образуют полную группу событий, то есть сумма вероятностей равна 1:

= 1,

то используются следующие формулы, предложенные Шенноном.

Для определения количества информации в одном (i-м) состоянии системы:

H = ,

и среднего количества информации во всех состояниях системы:

H = = – .

Из приведенных выражений следует, что количество информации максимально, если состояния системы равновероятны.

Пример 2.6. Вычислительная система может находиться в одном из N = 3 состояний: «включено (простой)», «вычисление», «выключено». Оператор получил сообщение о состоянии системы. Какое количество информации получил оператор? Рассмотреть два случая:

1) состояния системы равновероятны;

2) состояния системы неравновероятны; вероятность нахождения системы в состоянии «включено (простой)» P₁ = 0,3; состоянии «вычисление» P₂ = 0,5; состоянии «выключено» P₃ = 0,2.

Решение. В первом случае используем формулу Хартли:

H_х = log₂ N = log₂ 3 = 1,58 бит.

Во втором случае используем формулу Шеннона:

H_ш = – = – (0,3 log₂ 0,3 + 0,5 log₂ 0,5 + 0,2 log₂ 0,2) =

= – (– 0,52 – 0,5 – 0,46) = 1,48 бит. □

Значение количества информации, вычисленное по формуле Хартли, больше значения, вычисленного по формуле Шеннона.

Пример 2.7. В условиях задачи из примера 2.6 определить количество информации, которое получил оператор в сообщении о состоянии «выключено», вероятность которого P₃ = 0,2.

Решение. Используем формулу Шеннона для одного состояния:

H = = = 2,32 бита. □

Можно сделать вывод, что чем событие маловероятнее, тем больше информации может быть получено при его возникновении.

Объемный подход

Объем данных V в сообщении измеряется количеством символов (разрядов) в этом сообщении. В информатике в основном используется двоичная система счисления, то есть все числа представляются двумя цифрами: 0 и 1. Поэтому минимальной единицей измерения данных является бит. Таким образом, 1 бит – это либо 0, либо 1. Элемент, принимающий всего два значения, называется двухпозиционным и просто реализуется аппаратно, например, двумя состояниями «включено» – «выключено», «ток есть» – «ток отсутствует».

Более подробно о системах счисления будет рассказано в следующей главе.

Наряду с битом используется укрупненная единица измерения – байт, равная 8 бит.

Пример 2.8. Сообщение в двоичной системе счисления 10010010 имеет объем данных V = 8 бит. Этот объем данных представляется 1 байтом. □

Для удобства использования введены и более крупные единицы объема данных:

1024 байт = 1 килобайт (Кбайт);

1024 Кбайт = 1 мегабайт (Мбайт) = 1024² байт = 1048576 байт;

1024 Мбайт = 1 гигабайт (Гбайт) = 1024³ байт;

1024 Гбайт = 1 терабайт (Тбайт) = 1024⁴ байт;

1024 Тбайт = 1 пентабайт (Пбайт) = 1024⁵ байт.

Общий объем информации в книгах, цифровых и аналоговых носителях за всю историю человечества составляет по оценкам 10¹⁸ байт. Зато следующие 10¹⁸ байт будут созданы за следующие 5-7 лет.

Отличие объема данных от количества информации заключается в следующем. Объем данных выражается только целыми значениями, а количество информации – вещественными.

Формулу Хартли можно использовать для определения объема данных. При этом результат округляется в большую сторону, так как минимальной ячейкой памяти в ЭВМ является байт. Поэтому, заняв только часть байта (его несколько бит), оставшаяся часть байта не используется.

Пример 2.9. В сообщениях используются только первые шесть букв латинского алфавита: A, B, C, D, E, F. Сколько байт необходимо для хранения сообщения «AABBCCD»?

Решение. Определим сколько бит необходимо для хранения одной буквы по формуле Хартли:

V_Б = log₂ 6 = 2,58.

Результат округлим в большую сторону, следовательно:

V_Б = 3 бита.

Тремя битами можно представить 8 комбинаций: 000, 001, 010, 011, 100, 101, 110, 111. Для кодирования 6 букв используются первые шесть комбинаций, а две последние комбинации не используются.

Для сообщения, состоящего из M = 7 букв, необходимо

V_С = M × V_Б = 7 × 3 = 21 бит = 2,625 байт

Результат вновь округлим в большую сторону:

V_С = 3 байта. □

Показатели качества информации

Эффективность использования информации для принятия решений определяется показателями ее качества. Рассмотрим основные показатели качества информации, и чем они определяются.

Репрезентативность (объективность) определяется правильностью отбора и формирования информации в целях адекватного отражения свойств объекта.

Содержательность зависит от семантической емкости, равной отношению количества семантической информации в сообщении к объему сообщения.

Достаточность (полнота) – это минимальный, но достаточный для принятия правильного решения набор показателей. Как неполная, то есть недостаточная для принятия правильного решения, так и избыточная информация снижает эффективность принимаемых пользователем решений. Однако избыточная информация позволяет восстановить частично утраченную информацию. Например, в слове «дост*пнос*ь» потеряно 18% букв, однако можно понять по оставшимся буквам, что это слово «доступность». Русский язык, как и другие естественные языки, обладает большой избыточностью.

Доступность определяется степенью легкости восприятия и получения информации пользователем.

Актуальность определяется степенью соответствия информации моменту ее использования.

Своевременность определяется поступлением информации не позже заранее назначенного момента времени, зависящего от времени решения поставленной задачи.

Точность – это степень близости получаемой информации к реальному состоянию объекта, процесса, явления и т. п.

Достоверность – это вероятность того, что отображаемое информацией значение параметра отличается от истинного значения этого параметра в пределах необходимой точности.

Устойчивость – это свойство информации реагировать на изменение исходных данных, сохраняя при этом необходимую точность. Устойчивость и репрезентативность обусловлены правильностью выбора метода отбора и формирования информации.

Ценность определяется эффективностью принятых на основе полученной информации решений.