Специалисты в области автоматической обработки языковой информации опираются на количественные описания подъязыков некоторых отраслей для образования системы поиска и реферирования текста при помощи ЭВМ [3; 18; 21; 22; 30].
Особенно следует подчеркнуть большое значение частотных словарей в методике изучения языка, поскольку преподаватель языка обращается к частотному словарю в поисках объективно отобранного учебного материала. Поэтому целью большинства частотных словарей иностранных языков было обеспечить методику изучения языка теми, для кого этот язык является неродным.
Одновременно отметим возможность применения статистики при изучении языка учащегося. Ведь наша школа до сих пор еще не имеет объективных данных, что такое хороший, посредственный или плохой язык учащихся разных классов, какой необходим запас слов, грамматических форм и конструкций [9; 27].
Кроме того, особенно важной и актуальной в педагогике, психологии (а также в филологии и информатике) является проблема измерения сложности текста. Объективные количественные методы измерения сложности текста имеют первостепенное значение для определения понятности, доступности учебных текстов, публицистических материалов, научной, научно-популярной информации [26].
Вообще частотные словари преследуют цель получения материала для всестороннего лингвистического анализа текста на лексическом, морфологическом и графемном уровнях. Авторы словарей проводят не только лексикологический анализ текста, но и исследуют его на других лингвистических уровнях. Таким образом, частотный словарь является лишь первоначальным этапом тщательного изучения структуры текста.
Частотные словари регистрируют функционирование единиц языка в речи. Но речь характеризуется не только функционированием в ней единиц языка, но и своими речевыми единицами. В литературе дискутируется вопрос о том, что считать единицей речи. Единицей речи можно считать такую цепочку единиц языка, которая не относится к языковым единицам. Составители частотного словаря сочетаемости современного английского языка [6; 7; 8] считают необходимым регистрировать как частоту единиц языка в текстах, то есть слов, так и частоту единиц речи, к которым они относят цепочки связей некоторого слова в предложении.
Цепочка связей слова в речи может совпадать со словосочетанием или с предложением, а также может представлять собой нечто среднее между тем и другим. Такую цепочку ни грамматики, ни словари не считают единицей языка. Но поскольку такая цепочка имеет свою структурную организацию, может повторяться, характеризуя разные слова и имея частоту в текстах, вполне правомерно считать ее единицей.
В стилистике количественные методы стали применять сравнительно недавно. Эффективность количественных методов в стилистике объясняется тем, что речь – это явление, где действует большое количество факторов, а объект исследования настолько сложный, что нельзя указать на какой-либо один фактор, который порождает такое его действие.
Исследователи отмечают по этому поводу, что случайность явления обусловливается большим количеством факторов, действие каждого из них непосредственно выявить невозможно. Наконец, вероятностно-статистическая устойчивость свидетельствует о закономерности этого явления, а также о причинной обусловленности [14, 121].
Текст является объектом исследования стилистики. Это вытекает из того, как он (текст) создается. Прежде всего автор должен иметь в своем сознании тему рассказа и его коммуникативную направленность, то есть самые общие характеристики адресата и функционально-стилистической принадлежности произведения, в зависимости от них автор осуществляет выбор определенных грамматических конструкций языка, на котором он пишет. И если при этом выбор одних языковых средств определяется темой, законами жанра, стиля, то выбор других средств – случайный, потому что для выражения того или иного понятия есть средства, безразличные к стилю, жанру и даже к теме текста [20, 19].
Следовательно, в образовании текста основной процедурой можно считать выбор единиц из большого их количества, что связано с повторяемостью этих единиц. Это чисто статистическая черта текста. Используя статистические методы в стилистике, исследователи считают, что каждый языковой материал (в том числе и текст) является результатом отбора некоторых единиц из общенародного языка [23, 23].
В свою очередь, в тексте действуют законы речи, которые ограничивают выбор единиц, влияют на их расположение, управляют связями и сочетаемостью единиц в языковые цепочки, членят тексты на абзацы и пр. Большую роль играют законы функционального стиля и жанра, а также экстралингвистические факторы (настроение автора, его личные вкусы, чувство языка, способности и т.п.). В результате переплетения всех этих факторов, взаимосвязанных и взаимообусловленных, создается текст с его статистическими параметрами [20, 19].