Это, впрочем, не исключает того, что энтропия является мерой невежества. Ведь она является именно мерой того невежества, которое сопровождает данный уровень грубости вычислений.
«Но с чего бы моей машине интересоваться тем, что я знаю о мире?» — спросил один физик в Санта Фе, когда Джейнс объяснял эти вещи. Ответ действительно очень простой: потому, что она построена такими же людьми, как и вы. Потому, что двигатель машины будет иметь как раз ту приблизительность, которую люди используют при описании мира: мы ощущаем тепло — но не ощущаем молекул. Наше описание мира приобретается через обработку того, что мы ощущаем. И оно воспроизводится в тех машинах, которые мы строим на базе своего знания.
Философ Пол Фейерабенд говорил о Больцмане: «Со своим осознанием гипотетического характера всех наших знаний Больцман намного опередил свое время — а возможно, и наше собственное».
В 1948 году инженер Клод Шеннон задал очень хороший вопрос: «Сколько стоит передать сообщение из одного места в другое?». Сцилард задавал вопрос, сколько будет стоит измерение. Шеннон же заинтересовался тем, сколько будет стоить общение. Отправным пунктом стала концепция бита — разницы между двумя идентичными состояниями: ответом на вопрос «да/нет».
Анализ Шеннона оказался революционным. Базируясь на идеях Сциларда, он стал основателем современной теории информации.
Когда мы говорим об информации в нашей повседневной жизни, мы имеем в виду ее содержание. Но Клода Шеннона интересовало не содержание. Его интересовала продолжительность телефонных разговоров.
Шеннон был инженером в лабораториях Белла, знаменитом исследовательском отделе AT&T. Он изучал сложность передачи сообщений в форме сигналов. Он был заинтересован в определении того, что требуется для передачи специфического сообщения через специфическое соединение — к примеру, телефонную или телексную линию.
Как можно измерить сложность передачи сообщения?
Шеннон предположил, что сложность коммуникации можно выразить с помощью понятия «неожиданное значение». Как измерить неожиданное значение букв алфавита?
Мы знаем, что следующий символ, который перед нами появится, будет буквой. Мы знаем также, что алфавит состоит из 26 букв. Таким образом неожиданность для нас будет выражаться фактом, что каждый символ состоит из одной из 26 возможных букв. Когда мы видим букву, неожиданность для нас будет ограничена пределом, что перед нами — именно эта буква, а не любая другая из 25 возможных.
Выразить теорию Шеннона можно так: каждый символ — это макросостояние, которому могут соответствовать 26 различных микросостояний, то есть отдельных букв. Каждый символ обладает определенной степенью неожиданности, которая выражается его способностью быть одной из этих 26 букв. Получение отдельной буквы, таким образом, содержит неожиданное значение, которое исходит из факта, что оно исключает появление остальных 25 букв.
Это позволяет точно выразить сложность коммуникации: отдельный символ — это макросостояние, неожиданное значение которого определяется тем, сколько микросостояний ему соответствуют.
Шеннон долго сомневался, как назвать эту величину. Он рассматривал возможность использования слова «неуверенность» и слова «информация». Математик Джон фон Нейман, известный как отец логической структуры современных компьютеров, пытался убедить Шеннона, что это неожиданное значение нужно назвать энтропией, поскольку сходство с концепциями термодинамики было настолько удивительным, что он, как отмечалось, спорил с Шенноном: «это даст тебе большое преимущество в спорах, так как в любом случае никто не знает точно, что такое энтропия».
В конце концов Шеннон выбрал формулировку «информационная энтропия», но так как никто не знал, что такое энтропия, его теория вошла в историю как теория информации.
В реальности, следовательно, «информационное общество» — это на самом деле «общество энтропии» — общество невежества и беспорядка.
Проще всего дать определение этой концепции информации, если мы ограничим себя общением с помощью специального алфавита — бинарных чисел. Когда мы применяем бинарные числа, как сегодня это делается везде в коммуникации и компьютерной индустрии, у нас есть только два фундаментальных значения для выражения себя: 0 или 1.
Будучи макросостоянием, бинарная цифра соответствует только двум равновероятным микросостояниям. Когда мы получаем бинарный символ, наше неожиданное значение ограничено: или/или. Но ведь именно эта степень неожиданности, когда мы различаем две одинаково равные возможности, была открыта Сциллардом и в дальнейшем именовалась «один бит»: информация, которая выражается ответом на вопрос «да/нет», то есть разницей между двумя возможностями. Когда мы получаем бит, мы получаем кусочек информации, который соответствует разнице между двумя микросостояниями. Таким образом, прежде чем неожиданность станет существенной величиной, нам придется получить хотя бы несколько бит.
В символе, который известен как часть алфавита, содержится несколько большее количество информации. Здесь прибытие определенной буквы исключает не только одну-единственную другую возможность, а целых 25. Таким образом, когда мы получаем одну букву, мы получаем определенное количество бит — а точнее, 4 или 5.
На практике, конечно, все несколько сложнее. Язык отличается избыточностью — в нем есть лишние символы. Нам не нужно знать все буквы, чтобы мы могли угадать слово в «Колесе фортуны». Таким образом, на практике буквы обладают в среднем меньшей информативностью, чем пять бит. В датском содержание информации на одну букву составляет около 2 бит, а в более систематизированном языке, таком, как немецкий, значение одной буквы уменьшается до 1,3 бит. Более того, буквы используются неодинаково, следовательно, получив «А», мы получим не так много информации, как получив «Z». В среднем каждое микросостояние (буква) обладает вероятностью, которая пропорциональна числу различных микросостояний. Но вероятность каждой буквы пропорциональна и ее частоте использования, которая также связана с числом различных микросостояний в целом. Как знают участники «Колеса фортуны», информационная ценность буквы обратно пропорциональна частоте ее использования. Чем реже встречается буква, тем больше информации содержит ее присутствие.
Вооруженный этим точным определением информации, которая может быть измерена как количество бит, Шеннон смог получить несколько очень полезных уравнений, с помощью которых можно управлять телефонными линиями и размерами кабелей. Его основное заключение было таким: всегда можно передать сообщение без ошибок, если имеется достаточная полоса пропускания.
Полоса пропускания выражает способность коммуникационного канала передавать информацию, определяемую в количестве бит в секунду. Телефон, к примеру, может передавать 4000 бит в секунду, тогда как телевидение передает 4 миллиона — в тысячу раз больше. Хороший радиоприемник находится примерно посередине с его 16000 бит в секунду.
Шеннон знал, что если полоса пропускания будет больше, чем информационное содержание единицы сообщения, это сообщение можно будет передать без потерь.
Это очень полезно знать, если вы зарабатываете себе на жизнь, продавая людям телефонные линии.
Но это не слишком соотносится с информацией в повседневном понимании. Как мы все знаем, можно вести очень продолжительный разговор и при этом не передавать почти никакой информации — или написать огромное количество слов, которые не будут нести в себе никакого определенного значения.
Термин «информация» не слишком волновал Шеннона. На самом деле он вообще не слишком любил это слово и подчеркивал, что разработанная им теория — это теория коммуникации, теория о передаче информации, а не о значении информации. Данный объем информации может содержать глубокие откровения — или просто откровенный вздор. Это не играет роли — телефонный счет будет одинаковым и в том, и в другом случае.