Возможность применения статистических методов при исследовании существующих в языке отношений обусловлена, прежде всего, системным характером языка. Язык представляет собой объективно существующую реальность, определенным образом организованную, которой свойственно большое количество измерений [9], а не хаотическое объединение явлений, оторванных одно от другого. Системное описание языка предусматривает анализ конкретных субстантных свойств элементов языка и анализ тех связей, в которые вступают данные элементы, учитывая при этом, с одной стороны, принципиальное отличие структурных и субстантных свойств единиц языка, а с другой – их взаимозависимость [13].
Чтобы охватить целостный характер системы языка, изучение существующих в ней отношений должно, исходя из иерархического строения ее структуры, осуществляться как на каждом уровне, так и между уровнями, поскольку каждый уровень системы одновременно является автономным по отношению к другим и в то же время зависящим от них. Переход от одного уровня к другому знаменует появление нового качества. Чем выше уровень, тем сложнее его структура, тем разнообразнее связи между элементами;
«непосредственно наблюдаемые отношения вытесняются глубинными, скрытыми опосредствованиями» [6].
Второй предпосылкой возможности применения статистических методов при исследовании системных отношений в языке является наличие объективно присущих ему количественных признаков [7], дающих возможность посмотреть на язык как на порождающую тексты систему с вероятностными ограничениями [9, 11].
Целесообразность применения статистических методов для выявления системных отношений в языке диктуется и современными проблемами автоматической переработки текстовой информации; в ходе решения этих проблем стала очевидной недостаточность использования при разработке алгоритмов машинного перевода, информационного поиска, автоматического реферирования только методов алгебраической лингвистики и необходимость обращения к методам квантитативным [3, 9, 26]. Кроме того, моделирование механизма перехода от языка к речи также требует обращения к статистике. Оказалось, что контекстно-свободные грамматики, создаваемые на основе неколичественной математики, порождают большое число нереальных предложений для данного языка. Исключить последние возможно, лишь применив к объектам языка вероятностные характеристики (создание контекстно-зависимых грамматик) [3].
Изучение отношений в языке осуществляется опосредованно через их исследование в речи. Теоретической основой такого пути является наличие определенного соответствия между внутренней организацией языка и речью [2], которая представляет собой реализацию языковой системы. Собственно говоря, многие закономерности, законы, наблюдаемые в речи, потому и действуют там, что они обусловлены законами языка. Характер лексем, форма грамматических связей – все эти категориальные черты языка формируют речевые высказывания [11, 27]. Яркой иллюстрацией сказанному выше может служить выведенный в результате анализа двухфонемных интервокальных сочетаний согласных в словаре, представляющем собой инвентарь лексических единиц украинского языка, закон предпочтения [18, 154 – 157]. Закон этот состоит в том, что незначительная часть определенного множества языковых единиц повторяется очень часто, а бóльшая часть их является низкочастотными. Проявление этого закона в речи было замечено впервые Дьюи на материале английских текстов задолго до открытия самого закона [28]. Статистическое исследование текстов дало возможность Дьюи установить закономерную зависимость между частотой звуков текста и процентом покрываемости ими объема текста (небольшое количество звуков очень часто употребляется в текстах и покрывает бóльшую их часть, а большое количество низкочастотных звуков занимает совсем незначительную часть текста). Эта же закономерность прослеживается автором на уровне слогов и на уровне слов текста. Исследования же В.И. Перебейнос доказывают, что установленная Дьюи закономерность заложена в самой основе строения единиц языка.