Предположим теперь, что в тексте наугад выбрана одна из 32 букв кириллицы (не будем учитывать «ё»). Как должен поступить человек, не знающий языка, чтобы, действуя наугад, узнать эту букву? Очевидно, он должен сначала выяснить, в какой половине алфавита находится эта буква. Затем он должен разбить эту половину, состоящую из 16 букв, на две восьмёрки и задать соответствующий вопрос. С помощью третьего вопроса он определит четвёрку, с помощью четвёртого – пару букв и, наконец, в результате пятого вопроса он узнает загаданную букву. Следовательно, информация, указывающая на определённую букву тридцатидвухбуквенного алфавита, равна 5 битам.
1. Может ли информация полностью определяться сообщением?
2. В каком случае сообщение не содержит информации?
3. Какое сообщение содержит 1 бит информации?
4. В каком случае и для какого получателя информация, содержащаяся в сообщении, оказывается наибольшей?
5. Где в биологии используется подобное пошаговое (повопросное) движение с двумя возможными вариантами ответов («да»/«нет»)?
Попросите вашего одноклассника загадать кого-нибудь из ваших общих знакомых. Задавая вопросы, на которые он может отвечать «да» или «нет», определите, кого он загадал. Оцените в битах объём полученной вами информации.
§ 10 Информация, вероятность и энтропия
Быть объектом удивления приятно уже потому, что с этим связан почёт.
Попытаемся найти закономерность в проведённых выше вычислениях. Рассматривая примеры угадывания, мы неоднократно обращали ваше внимание на то, что все возможные варианты были для угадывающего равновероятными. Следовательно, вероятность правильности каждого ответа была равна единице, разделённой на число возможных вариантов. То есть чем больше вариантов, тем меньше вероятность справедливости каждого из них и тем больше вопросов надо задать, чтобы узнать правильный ответ. Мы уже видели, что, для того чтобы выяснить, какой из двух возможных вариантов правилен, надо задать один вопрос, при восьми вариантах – три вопроса, а при тридцати двух – пять вопросов. Если немного подумать, то нетрудно будет сообразить, что при четырёх вариантах достаточно задать два вопроса, при 16 – четыре, а при 64 – шесть. Для большей ясности составим таблицу (табл. 1).
Чем меньше вероятность правильного ответа, тем большую информацию мы получаем, выяснив его. То есть количество информации зависит от «невероятности» полученного сообщения. Чем невероятнее, чем удивительнее кажутся полученные сведения, тем больше информации в них содержится. А эта «невероятность» равна числу возможных вариантов, об истинности которых нам ничего не известно. Теперь остаётся найти формулу для этой зависимости. Посмотрев на таблицу, мы убедимся в том, что число вариантов во всех случаях равно двойке, возведённой в степень, равную полученной информации:
N = 2J.
Следовательно, информация равна степени, в которую надо возвести 2 для того, чтобы получить N, т. е.
J = log2 N.
Эта величина называется логарифмом N по основанию 2 или двоичным логарифмом числа N.
Конечно, число возможных вариантов правильного ответа необязательно должно быть целой степенью числа 2. Это не должно нас смущать, потому что количество информации необязательно должно выражаться целым числом.
Таблица 1
Зависимость количества полученной информации от вероятности правильности ответа
Например, если число вариантов равно пятидесяти, то, когда мы узнаем единственный правильный ответ, полученная информация будет равна степени, в которую надо возвести двойку для того, чтобы получить число 50. Нетрудно выяснить, что эта информация будет равна с точностью до третьего знака 5,644 бита.
Полученная формула информации практически в точности соответствует формуле Больцмана для энтропии (§ 8). Напрашивается предположение, что между энтропией и информацией существует большое сходство.