больше 640? (640 — половина интервала между 513 и 768.)Если же ответ на первый вопрос был отрицательным, то следующий вопрос будет звучать так:— Задуманное вами число больше 384? (384 — половина интервала между 257 и 512.)Легко подсчитать, что подобная стратегия позволяет отгадать число не более чем за девять вопросов, если, конечно, загаданное число взято из интервала от 256 до 768. Ну а если это не так?Тогда мы все равно отгадаем число. Но потратить придется больше, чем десять вопросов. Можно показать, что если все время придерживаться гипотезы об интервале, из которого выбрано загаданное число, и отказаться от нее лишь тогда, когда будет доказано, что она несправедлива (для этого тоже потребуется девять вопросов), то общее количество вопросов в этом случае будет семнадцать. Все дело в том, как часто принятая гипотеза будет оказываться несправедливой.Предположим, что мы только тем и занимаемся, что отгадываем числа. Предположим далее, что, как и считалось с самого начала, в подавляющем большинстве, например в 96 случаях из ста, загаданное число оказывается в пределах интервала от 256 до 768 и, следовательно, может быть отгадано за девять вопросов. Лишь в четырех случаях из ста загаданное число окажется вне этого интервала, и на его отгадывание затрачивается 17 вопросов. Среднее число вопросов будет, очевидно, равно 9,32, то есть меньше десяти.Значит, если строить стратегию отгадывания с учетом психологии своих приятелей, а проще говоря, с учетом вероятности нахождения загадываемого числа в пределах того или иного интервала, то среднее количество задаваемых вопросов окажется меньше, чем в том случае, когда стратегия отгадывания строится с учетом равной вероятности нахождения числа в любом месте исходного интервала. Меньше, даже, несмотря на то, что в отдельных случаях количество задаваемых вопросов будет значительно больше среднего. Переходя к терминологии, принятой в теории Хартли, можно сказать, что в последнем случае стратегия отгадывания строится с учетом распределения вероятности, заданного на исходном наборе чисел, или, как мы будем дальше говорить, на исходном многообразии.Здесь имеет смысл сказать несколько слов об интуиции. Что, например, следует думать о человеке, который отгадал число с первой попытки? Можно ли считать, что он проявил интуицию? Все только что проведенные рассуждения говорят, что это не так. Любое суждение как о процессе отгадывания, так и о свойствах отгадывающего, можно выносить лишь на основе подсчета среднего количества сделанных попыток. Мы еще вернемся к этому вопросу в главе третьей.Американский математик К. Шеннон в 1949 году предложил использовать в качестве меры количества информации как раз величину среднего количества вопросов, необходимого для отгадывания при использовании соответствующей стратегии. В теории Шеннона так же, как и в теории Хартли, предполагается, что сообщения поставляются (генерируются некоторым источником, который выбирает их из конечного наперед заданного набора сообщений. За количество информации, содержащейся в одном сообщении, принимается среднее значение логарифма от вероятности этого сообщения, взятое со знаком «минус». На первый взгляд представляется, что такое определение не имеет ничего общего со всем, что говорилось ранее. Однако можно убедиться, что это не так.Достаточно лишь вспомнить, что если все сообщения равновероятны, то вероятность получения одного из них равна единице, деленной на общее число сообщений и наборе. А логарифм обратной величины равен взятому со знаком «минус» логарифму от этой величины. Следовательно, в случае равновероятности всех сообщений количество информации по Шеннону совпадает с количеством информации по Хартли, а это последнее, в свою очередь, как было показано выше, совпадает, во всяком случае для примера с отгадыванием чисел, с количеством информации по Колмогорову.Другая, крайность имеет место тогда, когда вероятность появления одного из сообщений в- наборе равна единице, а всех остальных —соответственно нулю. Можно считать, что набор состоит из одного-единственного сообщения, поскольку все остальные в течение любого разумного интервала времени все равно не будут получены. Логарифм единицы равен нулю, поэтому, по Шеннону, количество информации, переносимой сообщением, вероятность появления которого равна единице, равно нулю. Тот же результат мы получаем, применяя меру Хартли к набору, состоящему из одного-едннственного сообщения. Наконец, ясно, что, если ваш приятель всегда загадывает одно и то же число, угадать его можно, не задавая никаких вопросов.Итак, мы установили, что в двух, как говорят, экстремальных случаях применение мер Хартли, Шеннона и Колмогорова дает одно и то же количество информации. Можно показать, что для неравновероятных сообщений количество информации, по Шеннону, будет всегда меньше максимально возможного, получаемого для равновероятных сообщений. В этом и состоит основное отличие теории Шеннона от теории Хартли. Теперь мы знаем, что существует по меньшей мере три различные меры количества информации. То, что их три, а также и то, что вообще-то говоря, не существует четкого рецепта, когда какой пользоваться, как раз и свидетельствует о незавершенности современной теории информации.Еще, один вопрос требует немедленного ответа. Каждая из трех рассмотренных нами мер предусматривает наличие источника, причем такого, который содержит лишь конечное число сообщений. А как быть в случае источника с бесконечным разнообразием сообщений?Чтобы мы могли свободно рассуждать в дальнейшем, необходимо доказать, что в природе не может существовать источник, располагающий бесконечным разнообразием сообщений (для искусственных источников это утверждение не требует доказательства). Посмотрим, что происходит, когда источником сообщений является сама природа, а точнее, некоторая определенная система конечных размеров, наблюдаемая нами в течение конечного интервала времени.Такая система может что-то сообщать лишь о своем собственном внутреннем состоянии. Согласно принципу неточностей Гейзенберга состояние физической системы может быть воспринято лишь с некоторой ошибкой (неточностью), причем эта неточность не может быть меньше определенной величины. Значит, любые два состояния системы могут отличаться друг от друга только в том случае, если они разделены некоторым конечным интервалом. В любой реальной системе описывающие ее физические величины не могут принимать бесконечные значения. Отсюда следует, что число различимых состояний любой ограниченной физической системы всегда конечно.Пусть, например, мы судим о состояниях системы по ее массе, а массу определяем с помощью весов со шкалой и стрелкой. Поскольку стрелка всегда имеет конечную ширину, невозможно измерить массу (произвести взвешивание) с точностью большей, чем, скажем, 1 грамм. Если мы знаем к тому же, что масса системы не более 1 килограмма, то не может быть более тысячи отличающихся друг от друга результатов взвешивания. Итак, наша предпосылка о конечности числа различных сообщений в источнике не снижает, как говорят, общности рассуждений.