Военный секретарь Бьюкенена, Джон Б. Флойд не был эффективным и не проявил лояльности - после Харперс-Ферри его заподозрили в доставке большого количества оружия из федеральных арсеналов на Севере в арсеналы на Юге в преддверии отделения; В 1862 году, будучи генералом Конфедерации, он покинет свой пост в форте Донелсон незадолго до того, как Грант осадит и возьмет его, опасаясь, что его могут судить за измену, если он попадет в плен. Но у него хватило здравого смысла понять, что кто-то должен командовать всеми этими силами, сходящимися к Харперс-Ферри, и что подходящий человек для этой работы находился в его доме в Арлингтоне, прямо через реку Потомак от Вашингтона.
Роберт Э. Ли и его жена унаследовали внушительный особняк с белыми колоннами, который сегодня является центральным элементом Арлингтонского национального кладбища, в 1857 году от своего отца, Джорджа Вашингтона Парка Кьюстиса, пасынка и приемного сына Джорджа Вашингтона. Только площадь владений в Арлингтоне составляла 1100 акров, а количество рабов - 63 человека, в то время как на двух других плантациях в Вирджинии общее число рабов Кьюстиса достигало почти 200. С возрастом и немощью Кэстис перестал управлять своими плантациями, что никогда не было его главным интересом - даже сочувствующий южанин назвал его "нерадивым фермером и покладистым хозяином". Особняк в Арлингтоне, хотя и был чем-то вроде музея вещей Джорджа Вашингтона (включая кровать, на которой он умер), протекал и нуждался в капитальном и дорогостоящем ремонте; плантации плохо обрабатывались; а рабы, которым дали понять, что они будут освобождены после смерти Кьюстиса, вместо этого обнаружили, что их освобождение зависит от множества других плохо составленных обязательств в его завещании, которое выглядело так, будто могло тянуться в судах годами, держа их в рабстве неопределенно долгое время.
То, что это не делало его счастливым или желающим работать, было лишь одной из многих проблем, с которыми столкнулся Ли, который, вопреки собственному желанию, брал отпуск за отпуском со своего поста командира недавно сформированной Второй кавалерийской армии США в Кэмп-Купере, штат Техас, грубом пограничном форпосте на реке Клир-Форк реки Бразос, чтобы посвятить себя наведению порядка в поместье своего тестя. Как бы Ли ни хотелось вернуться в Техас со своими отрядами, преследующими банды мародеров-манчей на границе, чувство долга перед семьей удерживало его в Арлингтоне, "пытаясь немного поработать и поправить дела", как он писал одному из своих сыновей, добавляя: "Мне это очень плохо удается".
Если так, то это был один из немногих примеров неудачи в жизни Роберта Э. Ли. Один из редких кадетов, окончивших Военную академию США без единой помарки, он поступил в Инженерный корпус армии США, куда в те времена набирали самых лучших и способных кадетов, и успешно реализовал некоторые из самых крупных и сложных государственных проектов своего времени, включая безопасный глубоководный канал на Миссисипи, открывший Сент-Луис для судоходства и заставивший мэра этого города прославить его как человека, который "взял под контроль отца вод". Его служба в Мексиканской войне была одновременно героической и жизненно важной; его "галантность" снискала ему всеобщее восхищение, а также доверие и дружбу генерала Уинфилда Скотта, который выделил Ли для особой похвалы в Конгрессе.
Позднее Ли был назначен суперинтендантом Военной академии США; его руководство в Вест-Пойнте завоевало ему доверие и похвалу как курсантов, так и военного министерства, а также дало ему возможность воспользоваться библиотекой академии и изучить во всех подробностях кампании Наполеона - научный интерес, который принесет самые неожиданные дивиденды всего семь лет спустя, когда он прославится как величайший тактик в американской военной истории, а также "враг без ненависти, друг без предательства, солдат без жестокости, победитель без угнетения... Цезарь без амбиций, Фридрих без тирании, Наполеон без эгоизма, а Вашингтон без награды".
Ли с радостью согласился оставить инженерный корпус ради активной военной службы, а Джефферсон Дэвис, военный министр (и будущий президент Конфедерации), с нетерпением ждал его в качестве второго командира недавно сформированной Второй кавалерии, о создании которой Дэвис давно ходатайствовал перед Конгрессом, чтобы усилить американское военное присутствие на границе. В течение следующих шести лет Ли предстояло нести самую тяжелую военную службу в местах, где не было ничего, кроме одинокого пространства, "чтобы привлечь индейцев... ...или побудить их остаться", откуда он писал своей жене 4 июля 1856 года с приливом искреннего патриотизма: "Солнце было огненно горячим. Атмосфера напоминала взрыв раскаленной печи, вода была соленой; и все же мои чувства к моей стране были столь же пылкими, моя вера в ее будущее столь же истинной, а мои надежды на ее продвижение столь же неугасимыми, как если бы они возникли при более благоприятных обстоятельствах". В конце концов Ли стал преемником полковника Альберта Сидни Джонстона, будущего генерала Конфедерации, который умрет от раны под Шилохом, на посту командующего Второй кавалерийской дивизией, и именно от обязанностей ее командира он отвлекся, чтобы заняться неразрешимыми проблемами поместья своего тестя.