Алфавитный (технический) подход - Количество информации - Кодирование информации - Краткий теоретический справочник

Существует несколько подходов к измерению информации. Выделим два из них.

2.1.1. Алфавитный (технический) подход

В технике информацией, как правило, считается любая последовательность знаков или символов. Для определения количества такой информации подсчитывают длину такой последовательности (сообщения) без учёта её содержательной части.

Определение. Информационным объёмом сообщения называется количество двоичных символов, которое используется для кодирования этого сообщения.

Пусть М — количество символов (мощность) алфавита, в котором записано сообщение, N — количество символов в записи сообщения. Тогда информационный объём сообщения

Если log₂ М не является целым числом, то его нужно округлить в большую сторону или найти значение log₂ , где — ближайшая целая степень 2, > М.

Информационный объём сообщения, выраженный в битах, и минимальное количество разрядов, необходимое для записи сообщения в двоичном алфавите, совпадают.

С помощью n двоичных разрядов можно закодировать двоичным кодом все элементы множества мощностью 2ⁿ. Информационный объём одного символа алфавита, обозначающего элемент данного множества, равен n.

Пример 1. Определите информационный объём слова «разряд», если считать, что алфавит состоит из 10 букв.

Решение. Длина данного сообщения равна 6, мощность алфавита равна 10. По формуле (1) находим Так как число 10 не является целой степенью числа 2, то значение log₂10 необходимо округлить в большую сторону или найти значение log₂ , где — ближайшая целая степень числа 2, > 10. Следовательно, = 16. Тогда

Ответ: 24.

Пример 2. Какое количество информации необходимо для кодирования каждого символа из 256 символов некоторого алфавита?

Решение. По формуле (1) находим

Ответ: 8 битов.

В вычислительной технике используются две стандартные единицы измерения информации бит и байт.

Определение. Бит — минимальная единица количества информации, равная одному двоичному разряду.

Определение. Байт — единица количества информации, являющаяся наименьшей единицей памяти компьютера и равная 8 битам.

Для больших объёмов информации используют производные единицы измерения:

1 б (байт) = 8 бит (8 двоичных разрядов)

1 Кб (Килобайт) = 2¹⁰ б = 1024 б

1 Мб (Мегабайт) = 2²⁰ б = 1024 Кб

1 Гб (Гигабайт) = 2³⁰ б = 1024 Мб

1 Тб (Терабайт) = 2⁴⁰ б = 1024 Гб

1 Пб (Петабайт) = 2⁵⁰ б = 1024 Тб