Технические средства ввели в рамки предмет изучения теории. Поскольку информация хранилась в ячейках компьютерной памяти в двоичном представлении, один разряд такой ячейки, содержащий единицу или ноль (что соответствует понятиям «да» и «нет») и названный битом, стал основной мерой информации. С технической точки зрения теория информации превратилась в инструмент, который помогал выяснить, каким образом шумы в форме случайных помех препятствуют плавному потоку битов при передаче. Теория подсказывала способ определения необходимой пропускной способности коммуникационных каналов, компакт-дисков или прочих продуктов технологии, кодировавшей язык, звуки и зрительные образы. Она указывала пути исчисления эффективности различных схем коррекции ошибок, в частности применения некоторых битов для проверки остальных. Наконец, она исследовала такое важнейшее понятие, как «избыточность». Согласно теории информации Шеннона обычный язык более чем на 50 % избыточен, т. е. содержит звуки или буквы, которые не являются строго необходимыми для передачи сообщения. Знакомая идея, не правда ли? Надежность связи в мире, где невнятно проговаривают слова и допускают опечатки, существенным образом зависит от избыточности. Известная всем реклама курсов стенографии «если в мжт прчть здс сбщн» наглядно демонстрирует выдвинутое утверждение, а теория информации позволяет дать количественную оценку данного феномена. Избыточность являет собой предсказуемое отклонение от случайного. В повседневном языке она проявляется в повторяемости значений, которое весьма сложно изменить — мера ее зависит от того, как избыточность сказывается на знаниях людей о собственном языке и мире. Именно элемент избыточности помогает людям решать кроссворды или вставлять пропущенное слово, если оно заканчивается, к примеру, буквой «а». Есть и другие типы избыточности, больше пригодные для численных измерений. Согласно статистическим данным, вероятность того, что взятой наугад буквой английского языка окажется буква «e», гораздо выше 1/26 (в английском алфавите 26 букв). К тому же не стоит рассматривать буквы как изолированные единицы. К примеру, зная, что в английском тексте есть буква «t», можно предположить, что за ней следует буква «h» или «о», а идентификация уже двух букв позволяет строить дальнейшие догадки. Частотность употребления комбинаций из двух или трех букв определяется особенностью того или иного языка. Компьютер, руководствуясь одной лишь частотностью трехбуквенных сочетаний, может выдать бессмысленный текст, но это будет узнаваемо английская бессмыслица. Криптологи долгое время использовали статистический принцип при расшифровке простых кодов. Сейчас инженеры, работающие в сфере коммуникаций, применяют его к технологиям сжатия данных и устранения избыточности, чтобы экономить пространство передающей линии или дискового накопителя. По Шеннону, нужно рассматривать эти модели, руководствуясь следующими соображениями: поток информации в обычном языке является менее чем случайным; каждый новый бит частично ограничен предшествующими; таким образом, каждый новый бит несет в себе в некоторой степени меньше содержания, чем тот, что заключает в себе реальную информацию. В такой формулировке просматривается некий парадокс: чем выше доля случайности в потоке данных, тем больше информации будет передано каждым новым битом.
Весьма ценная в техническом плане для начала компьютерной эры, теория информации Шеннона мало что привнесла в философию. Главный ее вклад, привлекший внимание специалистов других областей, выражается одним-единственным термином — энтропия. Как объяснял Уоррен Уивер в классическом изложении теории информации, «человек, впервые сталкивающийся с понятием энтропии в теории коммуникаций, вправе ощутить волнение, он вправе заключить, что встретил нечто основополагающее, важное». Концепция энтропии восходит к термодинамике; она фигурирует во втором законе, гласящем, что Вселенная и каждая отдельная система в ней неизбежно стремятся к нарастанию беспорядка. Разделите бассейн на две части, поставив между ними перегородку. Наполните одну часть водой, а другую — чернилами. Дождитесь, пока поверхность успокоится, а затем снимите перегородку. Вы увидите, что лишь посредством случайного перемещения молекул вода и чернила со временем перемешаются. Этот процесс никогда не повернет вспять, сколько ни жди — хоть до конца света. Именно поэтому считается, что второй закон термодинамики уподобил время одностороннему уличному движению. Энтропия — наименование того свойства систем, которое увеличивается согласно второму закону, — смешения, беспорядочности, случайности. Это понятие легче постичь интуитивно, не пытаясь измерить его в реальной жизни. Как с достаточной степенью достоверности можно оценить уровень смешения двух веществ? Во-первых, можно пересчитать молекулы каждого из них в отдельно взятой пробе; но как быть, если они организованы по принципу «да — нет — да — нет— да — нет — да — нет», подобно данным в линиях передач и компьютерной памяти? В этом случае вряд ли можно измерить энтропию с желаемой точностью. Другой способ заключается в подсчете только молекул «да — нет», но что делать, если они расположены по схеме «да — нет— нет — да — да — нет — нет — да»? К сожалению, строгий пересчет не поддается несложной алгоритмизации.