Законы случайностей
Вопрос об избыточной информации оказался труднее всех предыдущих. Уже несколько дней ходим мы по улицам Нового Города, расспрашиваем местных жителей, заглядываем на страницы различных книг. Но ясности пока нет.
Нам сказали, что определить избыточность текста можно в том случае, если известны законы чередования букв. Но как уяснить себе эти законы? Мы привыкли считать, что текст подчиняется грамматическим правилам. А здесь на язык смотрят как-то иначе... Вместо склонений или спряжений какие-то графики, формулы и значки. Говорят, что по ним изучают «структуру языка». Эта структура подчиняется законам теории вероятностей. И понятие «избыточности» тоже вытекает из этих законов. Чтобы определить избыточность текста, надо научиться с помощью теории вероятностей анализировать законы чередования букв.
- Скажите, у вас найдется курс теории вероятностей? - спросил я в одной из библиотек.
- Разумеется, - ответил библиотекарь и через мгновение извлек с полки солидный, увесистый том. - Это самый фундаментальный курс. Надеюсь, что здесь вы сможете найти все, что вас интересует.
- Да, пожалуй, даже с избытком, - пошутил я, беря в руки толстую книгу. - А кстати, как вы думаете, в этой книге тоже есть избыточная информация?
- Разумеется. Любая книга содержит в себе добрую половину лишних страниц.
- Даже учебник по математике? Странно... До сих пор я был уверен, что в нем нет ни одного лишнего слова. А в поэме Пушкина или в романе Толстого? Неужели даже в их бессмертных творениях есть «лишние» мысли или слова? Или, может быть, в Новом Городе поступают так же, как в США: вместо романа «Анна Каренииа» выпускают очередной «комикс», где на 3-й странице Анна встретилась с Вронским, а на 15-й уже слышится роковой стук колес?
- Нет, нет, - улыбается библиотекарь. - Уверяю вас, что жители нашего города не посягают на шедевры мировой культуры. Напротив, они любят и ценят искусство, и все их заботы направлены лишь на то, чтобы все созданное художником, писателем и композитором могло «транспортироваться» по специальным каналам связи без всяких потерь. Но при этом они пользуются особыми кодами, позволяющими передать полный текст «Анны Карениной» самым малым количеством условных значков. Наш алфавит тоже является кодом. Но этот код не слишком удобен, потому что избыточность его велика.
- Может быть, вы порекомендуете мне литературу. по которой я смогу изучить, как избавляются от этих «излишеств»?
- С удовольствием. Правда, в последние годы появилось так много различных способов, что их еще никто не сумел обобщить. Они описаны в различных журналах и книгах. Впрочем, вот что: пройдите в соседнюю комнату и обратитесь за помощью к электронной машине. Стоит лишь вложить в нее карточку с надписью «Избыточность сообщений», и она даст вам исчерпывающую информацию по вашему вопросу и предоставит в ваше распоряжение выписки из всевозможных статей и книг.
Я воспользовался этим любезным советом. Материала оказалось так много, что пришлось потратить на его изучение несколько дней. Зато в вопросе о том, как определяют избыточность текста, я приобрел полную ясность.
Вся суть заключается в законах случайностей. Дело в том, что жители Нового Города считают случайными все значения букв. Приняв по телеграфу начало нового слова, например ст..., нельзя сказать какие буквы последуют дальше: может быть, передаваемое слово окажется столом или стулом, может быть, стеной, статьей, стоном, стройкой, стоимостью, старостью, степенью или стрелой. Поэтому и считают жители Нового Города, что вслед за буквами с и т может случайно появиться буква о, е или у.
Но, оказывается, и случайность имеет свои законы. Непосвященным это покажется странным: случайность - и вдруг закон! Казалось бы, одно из двух: или есть какая-то закономерность, или все подчиняется воле случая. Однако случай случаю рознь. У каждого случая есть своя вероятность. Какова, например, вероятность того, что вслед за ст появится буква а? Как ее подсчитать? Для этого необходимо рассмотреть огромное количество самых разнообразных текстов и произвести строгий учет всех случаев появления сочетания ст. Если в результате такого учета, произведенного на многих тысячах слов, окажется, что из каждой сотни букв, появляющихся вслед за буквами ст, буква аповторяется в среднем пять раз, значит вероятность появления буквы а после букв с и т составляет 5 процентов. И самым любопытным является то, что, определив однажды вероятность появления буквы а, равную 5 процентам, мы обнаружим то же количество букв а в любом тексте, состоящем из достаточно большого числа букв. Не правда ли, странно: можно взять разные тексты - стихи, прозу, газетные сообщения и научный отчет; в любом из них среди каждой тысячи букв будет одно и то же количество а. Чем больше будет рассматриваться букв, тем точнее повторятся те же проценты. Да что далеко ходить за примерами! Подсчитайте число букв а на этой странице, а потом откройте наугад несколько других страниц. Если на них нет рисунков, то вы на всех страницах насчитаете почти равное количество а. Отчего это происходит? Оттого, что все случайности подчиняются одному закону: среди большого числа различных случайностей каждая из них (например, появление а) повторяется определенное количество раз. Это главный закон случайностей - закон больших чисел.
Если подсчитать, сколько раз встретится каждая буква алфавита после букв с и т, мы узнаем вероятность появления различных букв. И тогда окажется, что появление некоторых букв вслед за буквами с и т имеет большую вероятность (например, буквы е, о, а, р и т. п.), других букв - меньшую (например, ы - слово стычка или стык или в - ствол, створка), а для многих букв вероятность будет вовсе равна нулю: ведь нельзя вспомнить ни одного слова, в котором за буквами ст следовали бы буквыб, г или щ. Значит, в передаваемом тексте появление тех или иных букв не является «чисто случайным»; между последующим и предыдущим значениями передаваемых букв существует определенная взаимосвязь.
Взаимосвязь между случайными влениями называется «корреляцией». Этим свойством обладают самые разнообразные случайные процессы.
Случайным является значение букв, переданных по телеграфу. Случайной является частота и громкость звука в то или иное мгновение радиопередачи, случайной является мгновенная яркость бегущего по экрану телевизора электронного луча.
Но все эти случайные процессы в той или иной степени обладают чудесным свойством корреляции: и яркость луча, и звучание той или иной ноты связаны с той яркостью и тем звучанием, которые имели место несколько мгновений назад. Эта связь - основа гармонии музыкальных мелодий, плавных переходов от света к тени, тонов и полутонов.
Корреляция - основа порядка. Если бы по какой-либо невероятной причине все процессы вдруг лишились этого свойства, то телеграфные тексты мгновенно превратились бы в бессмысленную буквенную россыпь, музыка зазвучала бы, как шум водопада. а изображение на экране телевизора стало похожим на снежный буран. Язык, в котором все сочетания букв имели бы равное право на существование, выглядел бы довольно странно, потому что рядом с привычными в этом языке существовали бы и такие «слова», как пакртчмын, ъиюа, и другие, лишенные смысла и часто вовсе не произносимые сочетания букв.
На самом деле все тексты обладают свойством корреляции, и потому только около 0,0002 процента возможных буквенных сочетаний составляют осмысленные слова. И это не удивительно, ведь существует целый ряд сочетаний, запрещенных законами русской грамматики. Значит, их вероятность равна нулю. Так, например, вслед за буквой ч никогда не последуют буквы ы, я или ю, а в начале слова или после любой из гласных мы никогда, ни в одном тексте не увидим мягкий знак.