Рассмотрим теперь различные способы описания морфемной структуры предложений. Какого рода грамматика необходима для порождения всех последовательностей морфем (или слов), представляющих собой грамматически правильные английские предложения, и только такие последовательности?
Одно из требований, предъявляемых грамматике, состоит в том, что она должна быть конечной. Отсюда следует, что грамматика не может быть просто списком всех последовательностей морфем или слов, поскольку число их бесконечно. Обычная теоретико-коммуникационная модель языка предоставляет нам один из способов, которым мы можем воспользоваться, чтобы обойти эту трудность. Предположим, мы имеем машину, способную принимать одно из конечного числа различных внутренних состояний, и пусть эта машина при переходе из одного состояния в другое вырабатывает определенный символ (скажем, английское слово). Одно из этих состояний является начальным, некоторое другое — конечным. Допустим, машина начинает свою работу с начального состояния, проходит ряд промежуточных состояний (выдавая некоторый символ при каждой смене состояний) и оканчивает работу конечным состоянием. Порожденную таким способом последовательность слов назовем «предложением». Каждая подобная машина, таким образом, определяет какой-то язык, а именно — множество предложений, создаваемых с ее помощью. Всякий язык, который может быть порожден машиной такого рода, мы назовем языком с конечным числом состояний; самую машину мы можем назвать грамматикой с конечным числом состояний. Грамматику с конечным числом состояний можно представить в виде «диаграммы состояний»[7]. Например, грамматика, порождающая равно два предложения — The man comes «Человек приходит» и The men come «Люди приходят»,— может быть представлена следующей диаграммой состояний:
(7) 
Мы можем усовершенствовать эту грамматику, с тем чтобы она порождала бесконечное число предложений путем добавления к ней замкнутых петель. Так, грамматика части английского языка, содержащей, кроме упомянутых, еще предложения The old man comes «Старый человек приходит», The old old man comes «Старый-старый человек приходит», .., The old men come «Старые люди приходят», The old old men come «Старые-старые люди приходят», .., представляется диаграммой состояний (см. стр. 424).
Имея диаграмму состояний, мы порождаем предложение, совершая путь от начальной точки слева до конечной точки справа и каждый раз передвигаясь в направлении стрелок. По достижении некоторой точки диаграммы мы можем следовать по любому пути, исходящему из этой точки независимо от того, проходили ли мы по этому пути когда-либо прежде при построении данного предложения или нет. Каждый узел диаграммы, таким образом, соответствует некоторому состоянию машины. Мы можем допустить переход из состояния в состояние по нескольким путям и иметь некоторое число петель любой длины.
(8) 
Машина, порождающая языки таким способом, известна в математике под именем «марковского процесса с конечным числом состояний». Для завершения этой элементарной теоретико-коммуникационной модели языка припишем некоторую вероятность каждому переходу из одного состояния в другое. Мы можем теперь вычислить «неопределенность», связанную с каждым состоянием, и определить количество информации в данном языке как взвешенное среднее неопределенностей, причем весовым коэффициентом для каждого состояния будет вероятность нахождения системы в этом состоянии. Поскольку мы изучаем здесь грамматическую, а не статистическую структуру языка, это обобщение не должно нас интересовать.
Данная концепция языка обладает очень большой силой и общностью. Приняв ее, мы можем рассматривать говорящего, по существу, как машину описанного типа. Производя предложение, говорящий начинает с начального состояния, произносит первое слово предложения и тем самым переключается во второе состояние, которое ограничивает выбор второго слова и т. д. Каждое состояние, через которое он проходит, соответствует грамматическим условиям, ограничивающим выбор следующего слова в этой точке высказывания[8].
7
С. Е. Shannon and W. Weaver, The mathematical theory of communication, Urbana, 1949, p. 15f.
8
Это, по существу, модель языка, развиваемая Хоккетом в «A Manual of phonology», Baltimore, 1955, 02.