Количество информации. Единицы измерения количества информации. Формулы для вычисления количества информации - Представление информации - ИНФОРМАЦИОННЫЕ ПРОЦЕССЫ

Конспект

Информация — базовое понятие, которому нельзя дать точного определения. Можно только определить его через один из синонимов. Например, “Информация — сведения об окружающем нас мире”.

Для измерения количества информации придуманы специальные единицы измерения информации.

Основная единица измерения информации — один бит.

Один бит — это количество информации, уменьшающее неопределённость в два раза.

Что такое неопределённость? Проще всего это понимать как выбор из нескольких вариантов.

Например, Вася должен угадать, в какой из восьми одинаковых коробок, стоящих в ряд, лежит конфета.

Ему говорят, что конфета лежит в одной из левых 4-х коробок.

У Васи был выбор из 8-ми коробок, а остался выбор только из 4-х коробок. То есть, количество вариантов уменьшилось в 2 раза. Неопределённость уменьшилась в 2 раза. Значит, Васе сообщили 1 бит информации. Чтобы прийти к определённости (в какой конкретно коробке лежит конфета), нужно, чтобы остался только один вариант, т.е. оставшееся количество вариантов следует поделить на 2 (останется 2 варианта, Вася получил ещё один бит информации), а затем оставшееся количество вариантов поделить ещё раз на 2 (останется 1 коробка, Вася получил ещё один бит информации).

В итоге, если изначально у нас был выбор из 8-ми коробок, и мы узнали, что конфета лежит в некоторой конкретной коробке, то мы должны были эту неопределённость (8 коробок) трижды поделить на 2, чтобы осталась только одна коробка, т.е. получить 3 бита информации.

Из этих соображений выведем основную формулу для вычисления количества информации.

Пусть у нас есть выбор из N одинаковых объектов. Необходимо выбрать один.

Будем делить количество объектов на 2 (уменьшать неопределённость в 2 раза) столько раз, сколько нужно для получения определённости (чтобы остался только один объект). Получаем формулу:

Заметим, что ровно 1 можно получить только в том случае, если число N является степенью числа 2.

В противном случае, необходимо понимать, что бит — минимальная единица измерения информации и она не бывает не целой. То есть, если в процессе деления на 2 будут получаться не целые числа, нужно округлять до ближайшего целого (вверх).

Например, если бы изначально у нас было бы 5 объектов, нужно было бы делить так же 3 раза, как если бы их было бы 8 (5 / 2 = 2,5, округляем до 3; 3 / 2 = 1,5, округляем до 2; 2 / 2 = 1. Всего делили 3 раза).

Данное замечание можно понимать и по-другому — считать, что определённость, это когда возможных вариантов остаётся не больше одного, и нашу формулу правильнее было бы записать так:

Перемножив обе части неравенства на 2ⁱ, получим формулу Хартли:

где N — количество равновероятных событий, i — количество информации (бит) в сообщении об одном таком событии, где этом i — минимальное целое число.

Если у нас есть выбор только из одного варианта, то количество информации в сообщении о таком событии рано нулю (сообщение о событии, которое происходит всегда, не несёт в себе информации).

Ещё одно определение бита: это количество информации в сообщении, которое может принимать только два возможных значения. Например, “да” или “нет”.

Для обозначения возможных значений одного бита обычно используют цифры 0 и 1.

Если сообщение состоит из нескольких символов, и при этом эти символы равновероятны (нельзя заранее сказать, что какой-то символ сообщения может появиться чаще какого-нибудь другого), то количество информации в таком сообщении может быть вычислено по формуле:

где k — количество равновероятных символов в сообщении, i — количество информации (бит) в одном таком символе, I — количество информации (бит) во всем сообщении.

1 бит — достаточно маленькая единица измерения информации. Для большего удобства люди придумали более крупные единицы.

1 байт	= 8 бит.
1 Кбайт	= 1024 байт (= 210 байт).
1 Мбайт	= 1024 Кбайт (= 220 байт).
1 Кбит	= 1024 бит.
1 Мбит	= 1024 Кбит.

Заметим, что приставки К и М, которые используются применительно к терминам бит и байт традиционно считаются как 1024 (2¹⁰) и 10242 (2²⁰), а не как 1000 (10³) и 1000000 (10⁶), как это принято для других единиц измерения. Однако, их принято читать как “кило” и “мега”. Так сложилось исторически.

При этом возникала путаница, потому что приставки “кило” и “мега” обозначают 10³ и 10⁶ соответственно. Чтобы её избежать, было принято решение для обозначения множителей 2¹⁰ и 2²⁰использовать термины “киби” и “миби”:

1 килобайт = 1000 байт, а 1 кибибайт = 1014 байт.

Однако, для приставок К и М такого правила формально введено не было. Поэтому в учебниках по информатике, на экзаменах по информатике и вообще в ИТ-среде принято считать, что К — это 2¹⁰, а М — это 2²⁰.

В использованных определениях часто используется термин “равновероятный” (равновероятное событие, равновероятный символ). Это можно понимать так, что ни про одно событие (ни про один символ) нельзя заранее сказать, что частота его появления больше, чем у какого-нибудь другого события (символа).

В случае, когда это свойство не выполняется, применяют другие способы вычисления количества информации. Они, как правило, связаны с понятием энтропии и знанием термина “логарифм” в математике. В рассматриваемом нами курсе информатики до 9-го класса включительно эти термины не считаются изученными и поэтому не используются. То есть, на ОГЭ вам не встретятся задачи, в которых события (символы) не будут равновероятными.

Наиболее известный пример такого (неравновероятного) события — встретить на улице динозавра. Так как это событие очень и очень маловероятно, то неверным будет считать, что количество информации в сообщении “Я встретил сегодня на улице динозавра” равно одному биту! Действительно, можно предполагать, что ответ на вопрос “Встретил ли ты сегодня на улице динозавра?” имеет только два возможных варианта ответа — “да” и “нет” и поэтому несёт в себе только один бит информации. Но это верно только для равновероятных вариантов ответа. В данном же случае ответ “нет” встречается гораздо чаще ответа “да” и поэтому к нему не может применяться это определение бита.

Разбор типовых задач

Задача 1. В магазине продаётся 30 одинаковых упаковок шоколадных шариков. Известно, что в одной из этих упаковок находится приз. Вася покупает одну упаковку.

Какое количество информации содержится в сообщении о том, что приз находится именно в упаковке, купленной Васей?

Решение

Анализируем исходные данные. Так как все 30 упаковок одинаковые и приз находится только в одной из них, то сообщение, что приз находится именно в упаковке, купленной Васей — это одно из 30 равновероятных событий. То есть, мы применяем формулу Хартли: 2ⁱ ≥ N.

Здесь N — количество равновероятных событий (30). Нужно подобрать наименьшее целое i такое, что 2ⁱ ≥ 30. Если Вы не знаете наизусть степени числа 2 (что весьма полезно для сдачи ОГЭ по информатике), предлагаем подбирать эти степени последовательно, начиная с первой:

2¹ = 2. 2 ≥ 30? Нет. Берём следующую степень (домножаем на 2).

2² = 2 ∙ 2 = 4. 4 ≥ 30? Нет. Берём следующую степень (домножаем на 2).

2³ = 4 ∙ 2 = 8. 8 ≥ 30? Нет. Берём следующую степень (домножаем на 2).

2⁴ = 8 ∙ 2 = 16. 16 ≥ 30? Нет. Берём следующую степень (домножаем на 2).

2⁵ = 16 ∙ 2 = 32. 32 ≥ 30? Да.

Получилось, что наименьшее при котором 2ⁱ ≥ 30, — это число 5. Вспоминаем, что в формуле Хартли количество информации измеряется в битах.

Ответ: 5 бит.

Другой вариант нахождения нужного нам числа 5 — делить исходное число 30 на 2 до тех пор, пока не получится число, меньшее или равное 1:

30 / 2 = 15. 15 ≤ 1? Нет. Продолжаем.

15 / 2 = 7,5. Округляем до 8. 8 ≤ 1? Нет. Продолжаем.

8 / 2 = 4. 4 ≤ 1? Нет. Продолжаем.

4 / 2 = 2. 2 ≤ 1? Нет. Продолжаем.

2 / 2 = 1. 1 ≤ 1? Да.

Подсчитываем количество раз, которое мы делили на 2. Получаем 5.

Ответ: 5 бит.

Быстрый вариант решения

Если мы наизусть знаем первые степени числа 2 (рекомендуется знать первые 10 степеней числа 2), то мы можем быстро определить, что 16 ≥ 30? Нет, но 32 ≥ 30? Да. Значит, наименьшая степень числа 2, которая больше или равна исходному числу 30, это число 32, а это 2 в степени 5.

Значит, ответ: 5 бит.

Задача 2. В племени Мума-Тума в языке используется всего 64 различных слова. Один из членов племени говорит другому фразу, состоящую из 100 слов. Какое количество информации он сообщил?

Решение

В условии задачи требуется найти количество информации в сообщении. Будет использовать формулу I = k ∙ i. В ней нужно знать количество информации в одном символе и количество символов в сообщении.

Количество информации в одном символе нам не дано, но его можно постараться найти при помощи формулы Хартли: 2ⁱ ≥ N.

То есть, остаётся определить, какое из чисел — 64 и 100 — является числом равновероятных событий N, а какое — количеством символов в сообщении k.

Анализируем условие и понимаем, что сообщение — это фраза, которую один член племени говорит другому. По условию фраза состоит из 100 слов. Но ведь в формуле I = k ∙ i число k — это количество символов, а нам дано количество слов.

В данном случае нужно иметь в виду, что если племя общается между собой при помощи всего 64 слов, то они не разделяют слова на буквы, а используют каждое слово как отдельный, неделимый элемент общения. То есть, их слова — это и есть то, что мы при анализе сообщений называем символами. Значит, количество символов в сообщении k = 100.

Методом исключения получаем, что 64 — это количество равновероятных событий N. Действительно, если люди племени используют в разговоре всего 64 различных слова, то каждое из этих слов и есть одно из равновероятных событий, которые мы подсчитываем в формуле Хартли.

Подставляем подобранные величины в формулы.

Сначала по формуле Хартли найдём количество информации в одном слове (символе): 2ⁱ ≥ 64.

Минимальное i, при котором это выполняется, равно 6 (2⁶ = 64) и, следовательно, в одном слове племени содержится 6 бит информации.

Подставляем это в формулу I = k ∙ i. Получаем I = 100 ∙ 6 = 600 бит.

Ответ: 600 бит.

Для измерения количества информации вовсе не обязательно, чтобы сообщение было хоть каким-нибудь образом осмысленным.

Задача 3. Какое количество байт в одном Кбите?

Решение

У нас имеется 1 Кбит. Нужно перевести это в байты.

Составим дробь. В числителе запишем исходное количество информации. В знаменателе — количество информации, которое необходимо получить:

1 Кбит / 1 байт.

Чтобы можно было делать действия с этими величинами, следует привести их к единой размерности. Проще всего сводить к самой маленькой величине — к битам.

Достаточно выучить, сколько бит в каждой из 5-ти единиц измерения информации, используемых в учебных задачах:

1 Кбит	= 1024 бит	= 210 бит
1 Мбит	= 1024 Кбит	= 220 бит
1 байт	= 8 бит	= 23 бит
1 Кбайт	= 1024 байт	= 1024 ∙ 8 бит = 213 бит
1 Мбайт	= 1024 Кбайт	= 223 бит

Подставим эти величины в нашу дробь и сократим степени двойки:

2¹⁰ / 2³ = 2⁷ = 128.

Ответ: 128 байт.