Нельзя сказать, что он уделял много внимания обожаемому мальчику-герою, но в Александрии Генри Ли был героем, несмотря на тяжелые обстоятельства, и Роберту было бы трудно не заметить его. В маленьком городке было много тех, кто служил под его командованием в "Легионе Ли" и для кого он теперь был "генералом Ли", легкой лошадью Гарри Ли, наконец-то получившим звание, которое, по их мнению, он должен был получить в Йорктауне. Когда он шел по узким улочкам, его встречали с уважением, вдвойне из-за его родства с Джорджем Вашингтоном, который сам был повседневной фигурой, ездившей по улицам Александрии на почту или в масонский зал. Небольшой дом был полон военных реликвий, свидетельствующих о военных триумфах Генри Ли, а также карт и записей, необходимых ему для книги. Это было то, что не могло не произвести впечатления на мальчика: ежедневные свидетельства того, что его отец был солдатом и героем, как внутри дома, так и снаружи.
Старшие члены семьи могли сомневаться в мудрости Генри Ли и сравнивать свои нынешние обстоятельства с жизнью в Стратфорде до его окончательного банкротства и позора, но Роберт был слишком мал для таких сравнений, и в результате он вырос в неведении о глубине падения своего отца и о том, что Генри Ли сам виноват в своей гибели. Напротив, предполагаемый пример генерала Генри Ли III как своего рода второго Вашингтона направлял и формировал Роберта Э. Ли, когда он сам стал солдатом и поднялся в славе намного выше своего отца.
Однако дети часто знают (или догадываются) о своих родителях больше, чем предполагают в то время. На протяжении всей своей жизни Роберт Э. Ли был щепетилен в денежных вопросах, стремился никогда не влезать в долги и вовремя оплачивать все счета; он был настолько полной противоположностью своего отца, что трудно поверить, что он был в полном неведении относительно недостатков Генри Ли. Даже будучи ребенком, он не мог не знать о долгих отлучках отца или определенном напряжении в семейной атмосфере, а поскольку он проводил гораздо больше времени с семьей матери, Картерами, чем с многочисленным кланом Ли, он мог уловить в Ширли нотки неодобрения по отношению к отцу. Его мать, конечно, никогда не произнесла ни слова критики в адрес Генри Ли, особенно в адрес своих детей, но, с другой стороны, она заботилась о том, чтобы научить юного Роберта бережливости, скромности, правдивости, экономии во всем, непоколебимой вере в Бога и скрупулезному учету каждого пенни - как раз тем добродетелям, которых так не хватало ее мужу.
Что касается Генри Ли, то последний акт его жизни должен был начаться при драматических и даже мелодраматических обстоятельствах. Поссорившись с президентом Джефферсоном, он теперь начал ссориться с президентом Мэдисоном из-за вопроса о войне с Великобританией, против которой он был категорически настроен. Он написал Мэдисону серию яростных писем, не добившись никаких результатов, кроме отстранения от дипломатических постов, которых он пытался добиться, чтобы хоть как-то отдалить себя от своих кредиторов. Когда в июне 1812 года наконец началась война, Генри Ли стал громоотводом для тех, кто выступал против нее, и встал на защиту молодого издателя балтиморской газеты, которого разъяренная толпа выгнала из города, разрушив при этом помещение его редакции. Если Генри Ли не хватало финансовой рассудительности, то ему никогда не хватало мужества - он не только призвал молодого человека вернуться в Балтимор и возобновить публикацию своих материалов против войны, но и сам отправился туда, чтобы поддержать его. Возможно, Ли недооценил ярость американской политики больших городов того времени, и, к несчастью для него, он находился во временном офисе газеты, когда на него напала разъяренная толпа. Генри Ли помог забаррикадировать помещение и послал за "дополнительным оружием", и в ходе завязавшейся перестрелки один человек на улице был убит. Ополченцы прибыли как раз вовремя, чтобы разнять стороны, а издателя, Ли и их друзей для их же безопасности сопроводили в балтиморскую тюрьму, но к этому времени весь город был в беспорядке, и толпа ворвалась в тюрьму. "Смерть казалась настолько неминуемой, что Ли предложил своим спутникам взять то немногое оружие, которое у них было, и перестрелять друг друга, чем позволить толпе разорвать себя на куски". Это предложение не было воспринято его товарищами с энтузиазмом, но, возможно, так и должно было быть, поскольку толпа выломала дверь их камеры и вытащила их наружу в "беспорядочное месиво", в котором один из них был убит, а одиннадцать других жестоко избиты. Восемь человек были убиты, а их тела были свалены на улице и подвергнуты "постоянному изувечиванию". Генри Ли был одним из них.