Генри Ли, возможно, страдал манией величия, а также полным отсутствием делового чутья и честности - он производит постоянное впечатление человека, стремящегося взять на себя роль гораздо большую, чем та, которую он имеет, - и в следующие несколько лет своей жизни он сжег все, что у него оставалось в отношении семьи, друзей, соотечественников-вирджинцев и даже Джорджа Вашингтона, превратив себя в объект порицания, а также в наглядный урок того, как падать с небес. Когда в 1794 году вспыхнул Виски-бунт в знак протеста против введения федерального акциза на виски, губернатор Ли, несомненно надеясь угодить президенту Вашингтону, собрал виргинское ополчение и повел его в Пенсильванию, где оно ничего не добилось. Это был непопулярный шаг; вирджинские производители домашнего виски были так же против налога, как и пенсильванские фермеры, и во многих местах бунтовали против призыва в ополчение. Пока Ли был "в поле", его губернаторский пост был объявлен вакантным, и, вернувшись, он обнаружил, что его заменили. Имени Ли было достаточно, чтобы получить место в Конгрессе, где он самым неподходящим образом умудрился нажить себе врага в лице Томаса Джефферсона и даже ненадолго обидеть своего покровителя Джорджа Вашингтона, выписав ему чек, который не прошел. Как обычно, его простили, и когда в 1798 году Вашингтон ненадолго был назначен главнокомандующим - ожидалась война с Францией, - Генри Ли был назначен генерал-майором. Смерть Вашингтона в 1799 году наконец-то положила конец благосклонности, которую он всегда проявлял к Генри Ли, и ознаменовала начало стремительного падения Ли в долги и другие проблемы.
Он ввязался в план покупки части поместья Фэрфакса, в результате которого потерял 40 000 долларов и чуть не обанкротил своего старого друга Роберта Морриса, одного из подписантов Декларации независимости; он безуспешно спекулировал на продаже "западных земель"; он даже ввязался в химерическую и, возможно, предательскую попытку Аарона Бурра создать западную империю - еще одна глупость на пути, который его собственный сын Генри опишет как "курс сангвинических и дальновидных спекуляций". Казалось, не было такого неразумного вложения, которое он не осуществил бы или не убедил бы других вложить в него свои деньги. Он навесил цепи на двери Стратфорда, пытаясь не пускать кредиторов и шерифов, но к 1809 году он был фактически разорен, а в апреле его постиг позор - он был арестован и заключен в тюрьму за долги. Почти год он просидел в тюрьме для должников, занимаясь написанием "Мемуаров о войне в Южном департаменте Соединенных Штатов" - книги, которая, как он тщетно надеялся, вернет ему состояние, но когда его наконец освободили, даже Генри Ли стало ясно, что его уже ничто не спасет.
Стратфорд, который теперь принадлежал его сыну Генри от первого брака, к тому времени был уже полностью разорен, и молодой Генри с трудом мог позволить себе содержать там большую и растущую семью своего отца, а также свою собственную, в то время как трастовый фонд Энн приносил доход, которого едва хватало, чтобы прокормить их. Ее здоровье резко ухудшилось - она жаловалась, что стала "инвалидом", - почти вся прислуга была уволена, денег не хватало даже на то, чтобы зимой поддерживать тепло в комнатах большого дома, поэтому подросший Генри в конце концов был вынужден перевезти семью в несколько съемных квартир в Александрии, штат Вирджиния, и наконец в небольшой кирпичный дом, арендованный у еще одного "родственника", Уильяма Фицхью.
В этих скромных условиях Генри Ли продолжал работать над своей книгой, и они с Энн зачали еще одного, последнего ребенка, несмотря на усиливающуюся болезнь и хрупкость Энн, что побудило ее написать беременной подруге, когда она собиралась родить Роберта: "Я не завидую твоим перспективам и не хочу их разделять". В доме было не так много места, чтобы пристроить новорожденного, и жизнь не могла быть легкой даже для людей, родившихся в XVIII веке, когда тесные комнаты и полное отсутствие личного пространства были обыденной реальностью, как для дворян, так и для других, но, возможно, в тесных помещениях крошечного дома у Генри Ли было время и возможность стать героической фигурой в глазах своего сына Роберта, которому тогда было три года.
Нельзя сказать, что он уделял много внимания обожаемому мальчику-герою, но в Александрии Генри Ли был героем, несмотря на тяжелые обстоятельства, и Роберту было бы трудно не заметить его. В маленьком городке было много тех, кто служил под его командованием в "Легионе Ли" и для кого он теперь был "генералом Ли", легкой лошадью Гарри Ли, наконец-то получившим звание, которое, по их мнению, он должен был получить в Йорктауне. Когда он шел по узким улочкам, его встречали с уважением, вдвойне из-за его родства с Джорджем Вашингтоном, который сам был повседневной фигурой, ездившей по улицам Александрии на почту или в масонский зал. Небольшой дом был полон военных реликвий, свидетельствующих о военных триумфах Генри Ли, а также карт и записей, необходимых ему для книги. Это было то, что не могло не произвести впечатления на мальчика: ежедневные свидетельства того, что его отец был солдатом и героем, как внутри дома, так и снаружи.
Старшие члены семьи могли сомневаться в мудрости Генри Ли и сравнивать свои нынешние обстоятельства с жизнью в Стратфорде до его окончательного банкротства и позора, но Роберт был слишком мал для таких сравнений, и в результате он вырос в неведении о глубине падения своего отца и о том, что Генри Ли сам виноват в своей гибели. Напротив, предполагаемый пример генерала Генри Ли III как своего рода второго Вашингтона направлял и формировал Роберта Э. Ли, когда он сам стал солдатом и поднялся в славе намного выше своего отца.
Однако дети часто знают (или догадываются) о своих родителях больше, чем предполагают в то время. На протяжении всей своей жизни Роберт Э. Ли был щепетилен в денежных вопросах, стремился никогда не влезать в долги и вовремя оплачивать все счета; он был настолько полной противоположностью своего отца, что трудно поверить, что он был в полном неведении относительно недостатков Генри Ли. Даже будучи ребенком, он не мог не знать о долгих отлучках отца или определенном напряжении в семейной атмосфере, а поскольку он проводил гораздо больше времени с семьей матери, Картерами, чем с многочисленным кланом Ли, он мог уловить в Ширли нотки неодобрения по отношению к отцу. Его мать, конечно, никогда не произнесла ни слова критики в адрес Генри Ли, особенно в адрес своих детей, но, с другой стороны, она заботилась о том, чтобы научить юного Роберта бережливости, скромности, правдивости, экономии во всем, непоколебимой вере в Бога и скрупулезному учету каждого пенни - как раз тем добродетелям, которых так не хватало ее мужу.
Что касается Генри Ли, то последний акт его жизни должен был начаться при драматических и даже мелодраматических обстоятельствах. Поссорившись с президентом Джефферсоном, он теперь начал ссориться с президентом Мэдисоном из-за вопроса о войне с Великобританией, против которой он был категорически настроен. Он написал Мэдисону серию яростных писем, не добившись никаких результатов, кроме отстранения от дипломатических постов, которых он пытался добиться, чтобы хоть как-то отдалить себя от своих кредиторов. Когда в июне 1812 года наконец началась война, Генри Ли стал громоотводом для тех, кто выступал против нее, и встал на защиту молодого издателя балтиморской газеты, которого разъяренная толпа выгнала из города, разрушив при этом помещение его редакции. Если Генри Ли не хватало финансовой рассудительности, то ему никогда не хватало мужества - он не только призвал молодого человека вернуться в Балтимор и возобновить публикацию своих материалов против войны, но и сам отправился туда, чтобы поддержать его. Возможно, Ли недооценил ярость американской политики больших городов того времени, и, к несчастью для него, он находился во временном офисе газеты, когда на него напала разъяренная толпа. Генри Ли помог забаррикадировать помещение и послал за "дополнительным оружием", и в ходе завязавшейся перестрелки один человек на улице был убит. Ополченцы прибыли как раз вовремя, чтобы разнять стороны, а издателя, Ли и их друзей для их же безопасности сопроводили в балтиморскую тюрьму, но к этому времени весь город был в беспорядке, и толпа ворвалась в тюрьму. "Смерть казалась настолько неминуемой, что Ли предложил своим спутникам взять то немногое оружие, которое у них было, и перестрелять друг друга, чем позволить толпе разорвать себя на куски". Это предложение не было воспринято его товарищами с энтузиазмом, но, возможно, так и должно было быть, поскольку толпа выломала дверь их камеры и вытащила их наружу в "беспорядочное месиво", в котором один из них был убит, а одиннадцать других жестоко избиты. Восемь человек были убиты, а их тела были свалены на улице и подвергнуты "постоянному изувечиванию". Генри Ли был одним из них.
Трудно оценить, насколько сильно он пострадал и насколько неизлечимы его травмы, но, судя по всему, его мучители втыкали в него ножи, заливали в глаза "горячий свечной жир", пытались отрезать нос, а также подвергали жестоким избиениям. Это своего рода дань его силе и мужеству, что он не только выжил, но и отказался реагировать или кричать, так что в конце концов они оставили его умирать. Он был, по выражению Фримена, "слаб, искалечен и изуродован", а также преследовался все более злобными кредиторами, включая его собственного брата, которому он продал участок земли в Кентукки, уже проданный им другому человеку одиннадцатью годами ранее. "Сломленный телом и духом", Генри Ли был доставлен обратно к своей семье, но вместо того, чтобы снова оказаться в тюрьме, он решил бежать из страны, не обращая внимания на свои долги и крупный залог, внесенный за освобождение из тюрьмы три года назад, в надежде восстановить здоровье на одном из англоязычных Карибских островов.