Генри Ли, возможно, страдал манией величия, а также полным отсутствием делового чутья и честности - он производит постоянное впечатление человека, стремящегося взять на себя роль гораздо большую, чем та, которую он имеет, - и в следующие несколько лет своей жизни он сжег все, что у него оставалось в отношении семьи, друзей, соотечественников-вирджинцев и даже Джорджа Вашингтона, превратив себя в объект порицания, а также в наглядный урок того, как падать с небес. Когда в 1794 году вспыхнул Виски-бунт в знак протеста против введения федерального акциза на виски, губернатор Ли, несомненно надеясь угодить президенту Вашингтону, собрал виргинское ополчение и повел его в Пенсильванию, где оно ничего не добилось. Это был непопулярный шаг; вирджинские производители домашнего виски были так же против налога, как и пенсильванские фермеры, и во многих местах бунтовали против призыва в ополчение. Пока Ли был "в поле", его губернаторский пост был объявлен вакантным, и, вернувшись, он обнаружил, что его заменили. Имени Ли было достаточно, чтобы получить место в Конгрессе, где он самым неподходящим образом умудрился нажить себе врага в лице Томаса Джефферсона и даже ненадолго обидеть своего покровителя Джорджа Вашингтона, выписав ему чек, который не прошел. Как обычно, его простили, и когда в 1798 году Вашингтон ненадолго был назначен главнокомандующим - ожидалась война с Францией, - Генри Ли был назначен генерал-майором. Смерть Вашингтона в 1799 году наконец-то положила конец благосклонности, которую он всегда проявлял к Генри Ли, и ознаменовала начало стремительного падения Ли в долги и другие проблемы.
Он ввязался в план покупки части поместья Фэрфакса, в результате которого потерял 40 000 долларов и чуть не обанкротил своего старого друга Роберта Морриса, одного из подписантов Декларации независимости; он безуспешно спекулировал на продаже "западных земель"; он даже ввязался в химерическую и, возможно, предательскую попытку Аарона Бурра создать западную империю - еще одна глупость на пути, который его собственный сын Генри опишет как "курс сангвинических и дальновидных спекуляций". Казалось, не было такого неразумного вложения, которое он не осуществил бы или не убедил бы других вложить в него свои деньги. Он навесил цепи на двери Стратфорда, пытаясь не пускать кредиторов и шерифов, но к 1809 году он был фактически разорен, а в апреле его постиг позор - он был арестован и заключен в тюрьму за долги. Почти год он просидел в тюрьме для должников, занимаясь написанием "Мемуаров о войне в Южном департаменте Соединенных Штатов" - книги, которая, как он тщетно надеялся, вернет ему состояние, но когда его наконец освободили, даже Генри Ли стало ясно, что его уже ничто не спасет.
Стратфорд, который теперь принадлежал его сыну Генри от первого брака, к тому времени был уже полностью разорен, и молодой Генри с трудом мог позволить себе содержать там большую и растущую семью своего отца, а также свою собственную, в то время как трастовый фонд Энн приносил доход, которого едва хватало, чтобы прокормить их. Ее здоровье резко ухудшилось - она жаловалась, что стала "инвалидом", - почти вся прислуга была уволена, денег не хватало даже на то, чтобы зимой поддерживать тепло в комнатах большого дома, поэтому подросший Генри в конце концов был вынужден перевезти семью в несколько съемных квартир в Александрии, штат Вирджиния, и наконец в небольшой кирпичный дом, арендованный у еще одного "родственника", Уильяма Фицхью.
В этих скромных условиях Генри Ли продолжал работать над своей книгой, и они с Энн зачали еще одного, последнего ребенка, несмотря на усиливающуюся болезнь и хрупкость Энн, что побудило ее написать беременной подруге, когда она собиралась родить Роберта: "Я не завидую твоим перспективам и не хочу их разделять". В доме было не так много места, чтобы пристроить новорожденного, и жизнь не могла быть легкой даже для людей, родившихся в XVIII веке, когда тесные комнаты и полное отсутствие личного пространства были обыденной реальностью, как для дворян, так и для других, но, возможно, в тесных помещениях крошечного дома у Генри Ли было время и возможность стать героической фигурой в глазах своего сына Роберта, которому тогда было три года.