Генри Ли III, который, несмотря на многочисленные разочарования, в итоге стал губернатором Виргинии и представителем Виргинии в Конгрессе, был отцом Роберта Э. Ли. Таким образом, дом Ли в Лисильвании был "родовым домом" Роберта Э. Ли, который Джордж Вашингтон посещал несколько раз, возможно, привлеченный все еще прекрасной Люси, и который представлял для Роберта Э. Ли, хотя больше в его воображении, чем в реальности, целый причудливо связанный, благодатный мир стабильности, богатства, привилегий, хороших манер и семейных связей на протяжении всей его жизни, хотя он вышел из владения его семьи, когда он был еще молод. Другие великие дома преследовали его всю жизнь, большую часть которой он провел в скромных съемных квартирах, казармах и палатках: Ширли, построенный Робертом "Кингом" Картером, в то время самым богатым человеком в Вирджинии, крышу которого возвышал резной позолоченный ананас, символ гостеприимства, один из самых величественных и изящных особняков в Вирджинии, был домом его матери; Уайт-хаус, одна из плантаций его тестя, сыграет важную роль в жизни Роберта Э. Ли; Стратфорд, построенный Томасом Ли, еще одним сыном Ричарда Ученого, с непревзойденным видом на реку Потомак, расположенный на плантации площадью 6600 акров, кирпичный особняк огромных размеров и гармоничного дизайна, более впечатляющий, пожалуй, чем красивый, с великолепными пропорциональными ступенями, взметающимися вверх к входу, и одним из самых восхитительных формальных садов в Америке, был местом, где родился Роберт Е. Ли родился; а Арлингтон в Александрии, штат Вирджиния, с его белыми колоннами и ассоциациями с Джорджем Вашингтоном, был особняком, который Ли унаследует по браку, только для того, чтобы его заняли федеральные войска в начале Гражданской войны.
Помимо семьи Ли, в его жизни было два основных влияния, каждое из которых должно было сыграть важную роль в формировании не только его характера, но и тактики и стратегии как генерала. Первым был сам Джордж Вашингтон, и хотя Вашингтон умер за десять лет до рождения Роберта Э. Ли, юный Роберт рос в его тени. В детстве его повсюду окружали ассоциации с Вашингтоном, с которым он состоял в дальнем родстве (как и с Томасом Джефферсоном); его любимый отец был настолько близок к Вашингтону, насколько это вообще возможно для этой немного сдержанной и холодноватой личности, а старшие члены его семьи хорошо знали Вашингтона как соседа и соплеменника по Виргинии до, во время и после войны и в бурной политике младенческой республики. Вашингтон никогда не был для Роберта Э. Ли далекой или отдаленной исторической фигурой; он был почти живым человеком, по чьим меркам Ли оценивал себя - как мальчика, как мужчину и как генерала. Строгая преданность долгу, грозное достоинство, твердый характер, гений лидерства, способность годами держать вместе разношерстную, плохо снабженную армию против превосходящего по численности, вооружению и ресурсам противника, мужество и стойкость перед лицом поражения, великодушие в победе - все эти качества восхищали Роберта Э. Ли и он стремился успешно их перенять.
Образцом для подражания "отцу своей страны" стал бы вызов для любого молодого человека, но в случае Ли он осложнялся его глубоко амбивалентными чувствами к собственному отцу, чья роль в том, что Фрейд называл "семейным романом", была глубоко противоречивой, примером, который нужно было одновременно копировать и избегать любой ценой. Гарри Ли был одним из тех людей, чьи добрые советы детям редко соответствовали его личному поведению. Отважный и новаторский солдат, в мирное время он был заядлым и все более безрассудным игроком в азартные игры, которые мы бы сейчас назвали рискованными инвестиционными схемами, в основном земельными спекуляциями, которые неизменно проваливались, вгоняя его в огромные долги. Его статус героя Революционной войны, его отважная, добродушная внешность, несколько испорченная в более поздней жизни склонностью к лишнему весу, его обаяние и тот факт, что он был Ли, привели к тому, что люди прощали его слишком легко и слишком часто, к его собственному и их благу - в итоге он был любящим, но часто отсутствующим отцом, и оставил свою большую семью практически без гроша.
Генри Ли III родился в 1756 году и, будучи старшим сыном богатого землевладельца Генри Ли II и красавицы Люси Гримс Ли, должен был казаться предначертанным по рождению для блестящей карьеры - чувство, которое он явно разделял с раннего детства. Он учился в Принстоне (тогда он назывался Колледжем Нью-Джерси), окончил его в 1773 году и, если бы не начавшаяся война, изучал бы право в Англии. Годы между 1773 и 1776 были в Вирджинии столь же волнующими и насыщенными событиями, как и в Массачусетсе, что побудило доктора Джонсона спросить: "Как получилось, что мы слышим самые громкие крики за свободу среди погонщиков негров?" - и молодой Генри Ли отказался от амбиций стать юристом и пошел в армию, став капитаном в полку легкой кавалерии, собранном одним из тех многочисленных "родственников", которыми была так богата жизнь первых семейств Вирджинии. Хотя он не получил никакой формальной военной подготовки, возможно, она ему и не требовалась - Генрих Ли III, возможно, был рожден, чтобы стать солдатом. Высокий, мощно сложенный, прирожденный наездник, он быстро сделал себе имя. Хотя некоторые считают, что его прозвище "Легкая лошадь Гарри" - это дань его мастерству, на самом деле оно отражало его умение организовать и возглавить то, что в то время называлось "легкой лошадью", то есть кавалерию на относительно небольших, проворных лошадях - в отличие от драгун, или "тяжелой кавалерии", здоровенных мужчин, которые ездили на больших лошадях и носили тяжелые сапоги до бедра, кирасу из полированной стали и медный шлем, а их целью было массовое наступление с разбегу на разбег.