Определение энтропии Больцмана было столь общим, что было использовано в математике и науке о вычислениях. Самое известное применение — так называемая "энтропия Шеннона", названная в честь математика и специалиста по теории коммуникаций Клода Элвуда Шеннона (1916-2001), которая измеряет количество информации, содержащееся в сообщении.
Представим себе сообщение, состоящее из единиц и нулей. Если бы частота единиц и нулей не была произвольной, а в ней имелись бы некоторые тенденции к большему количеству нулей или единиц, наблюдатель, читающий цепочку по порядку, мог бы предсказать, до какой-то степени, следующее значение. Цепочка 1111111111111... довольно предсказуема: крайне вероятно, что следующим символом будет 1. В этом случае чтение этих данных предоставляет нам очень мало информации, поскольку уже известно все необходимое, до того как мы увидим сообщение: их энтропия Шеннона минимальна. И наоборот, энтропия Шеннона максимальна, когда цепочка — произвольный ряд нулей и единиц. В этом случае единственный способ узнать, каков следующий символ, — увидеть его. На практике большинство сообщений (например, на английском или на испанском языке) имеет относительно низкую энтропию Шеннона из-за статистического преобладания некоторых букв. Из-за этого они содержат мало информации, и их легко сжать. На этой идее основываются программы-архиваторы. Связь между энтропией Шеннона и энтропией Больцмана была не очень ясной до середины 1950-х годов. Было высказано предположение, что энтропия Больцмана может быть истолкована как частный случай энтропии Шеннона: когда она максимальна, тело, которое она описывает, находится в самом произвольном состоянии, то есть с очень высокой энтропией Шеннона. Так, энтропию Больцмана можно вычислить как информацию, необходимую для определения состояния каждой из молекул тела, если известны макроскопические детали. Энтропия Шеннона — не единственная интеллектуальная "дочь" энтропии Больцмана: в Linux (операционной системе со свободным кодом, благодаря которой появился Android) термин "энтропия" используется для определения произвольных данных, собираемых системой на основе движения мыши или клавиатуры.
В примере с картами легко увидеть, что большинство порядков соответствует неупорядоченному состоянию: если исходить из упорядоченной колоды и изменить положение десяти карт, то получится колода, отдаленная от предыдущего порядка. Если повторить операцию, выбирая каждый раз десять произвольных карт, колода все больше будет отдаляться от упорядоченного состояния, если только нам сильно не повезет. Это происходит потому, что существует намного большее число беспорядочных конфигураций, чем упорядоченных. Чтобы увидеть это, воспользуемся простой моделью с пятью картами, пронумерованными от 1 до 5.
В этом случае мы можем определить упорядоченное состояние как (1,2,3,4,5), где мы используем скобки и числа, отделенные запятыми, чтобы указать порядок. Теперь посмотрим, сколько всего есть возможных сочетаний. Поскольку в этом случае метод проб и ошибок займет слишком много времени, воспользуемся логико-математическим рассуждением. Первая карта может принимать пять значений: от 1 до 5. Как только мы ее выберем, у второй карты уже сможет быть только четыре значения, поскольку одна из карт будет находиться на первой позиции. Для третьей карты у нас останется только три варианта: для четвертой — два, и последней останется только одна карта. Числом сочетаний тогда будет произведение числа выборов, которые существуют для каждой карты. В этом случае это 5 · 4 · 3 · 2 · 1, что равно 120. Итак, из 120 существующих сочетаний только одно соответствует упорядоченному состоянию.
В случае с целой колодой всего существует 48 карт (или 52, в зависимости от типа колоды). Следуя подобному рассуждению, получается, что общее число сочетаний равно 48 · 47 · 46 х..., пока мы не дойдем до 1. Итоговое число — 1,24 · 1061, то есть 1 с 61 нулями. Для наглядности, если бы кто-то ежесекундно пробовал другую конфигурацию, тасуя колоду, он получил бы упорядоченную колоду спустя 4 · 1047 миллиона лет, что соответствует примерно 1043 возрастам Вселенной. Как можно увидеть на сравнении примера пяти карт с примером с 48, число сочетаний быстро растет с количеством последних. Теперь, если задуматься, что число молекул газа значительно больше числа карт в колоде, то можно представить себе чрезвычайную невероятность того, что энтропия будет уменьшаться при любой ситуации.