Трудно предположить, в какой степени учитывались пожелания Роберта. В более поздние годы он часто жалел о том, что выбрал профессию военного, но, возможно, он с большим энтузиазмом относился к ней, когда ему было шестнадцать лет и он только что окончил Александрийскую академию. Похоже, что это было тщательно продуманное семейное решение о том, что делать с юным Робертом, а не результат какого-либо желания с его стороны стать солдатом. Сложность заключалась в том, что Вест-Пойнт был маленьким, и в 1823 году туда было очень трудно поступить. В то время еще не существовало конкурсных экзаменов для поступления в Военную академию США; назначение осуществлялось "по желанию президента, по представлению военного министра, который в то время не придерживался никаких правил относительно географического распределения". Это означало, что репутация семьи и то, что мы сегодня называем политическим влиянием, играли важную роль в назначении мальчика кадетом. Президент Монро был виргинцем, и на имя Ли можно было рассчитывать; в конце концов, он уже сделал брата Роберта мичманом. Но военным министром был Джон К. Кэлхун, южнокаролинский фанатик прав штатов, нуллификации и рабства, на которого посыпались просьбы достойных южных семей выдвинуть сына в Военную академию США. Необходимо было найти стратегию, чтобы обеспечить выдвижение Роберта, и удивительно то, насколько сам Роберт, шестнадцатилетний юноша, провел хитроумную, хорошо спланированную и успешную кампанию, свидетельствующую о том, что он уже обладал отличными организаторскими способностями, хорошим политическим чутьем и способностью преодолевать застенчивость, которую все ему приписывали. Когда что-то имело для него значение, он смело брался за дело, хотя и не проявлял честолюбия - возможно, это еще один урок, тихо извлеченный из катастрофического падения его отца, чьи амбиции были слишком очевидны для всех.
Выбор благодетеля и советника его матери Уильяма Фицхью для написания рекомендательного письма Кэлхуну был вполне естественным - Фицхью, хотя и был очень богат и имел большие связи, был дальним родственником, не Ли и не Картером, и мог показаться более объективным, рекомендуя молодого Роберта, чем более близкий родственник. Действительно, пожалуй, самым важным в письме Фицхью был его заголовок: "Равенсворт, 7 февраля 1824 года". Равенсворт был одним из самых известных великих домов Вирджинии и почти гарантировал пристальное внимание военного секретаря.
Если бы это вызывало сомнения, Роберт сам вызвал Кэлхуна в военное министерство и лично вручил ему письмо. Была ли это идея Фицхью, Энн Картер Ли или Роберта, узнать невозможно, но в любом случае это потребовало бы от Роберта значительной степени уверенности в себе и решительности, а также чувства собственного достоинства. Мы знаем, что рост Роберта в то время составлял около пяти футов девяти дюймов, он был широкоплечим и атлетически сложенным; через несколько лет он будет считаться самым красивым мужчиной в армии США, и портреты это подтверждают, так что юноша, скорее всего, произвел хорошее впечатление на Кэлхуна. В письме Фицхью в высшей степени тактично упомянул покойного генерал-майора Ли и сделал обязательный призыв к южному рыцарству по поводу Энн Картер Ли: "Он [Роберт] - сын генерала Генри Ли, с историей которого вы, конечно, знакомы; и который (какими бы ни были несчастья его последних лет), безусловно, закрепил своими революционными заслугами прочные права на признательность своей страны. Он также сын одной из самых прекрасных женщин, которых когда-либо рождал штат Вирджиния. Обладавшая в очень значительной степени всеми теми качествами, которые особенно присущи женскому характеру Юга, она стала вдвойне интересной благодаря своим заслугам и успешным усилиям, направленным на то, чтобы содержать в комфорте большую семью и дать всем своим детям прекрасное образование".