Наслаждение Роберта от отпуска и его радость от того, что он вернулся к семье в разгар "сезона визитов" в Вирджинию, в облегающем сером мундире с рядами сверкающих пуговиц, могли быть омрачены разгорающимся скандалом в семье Ли, о котором он вряд ли мог не знать, тем более что его родственники Картеры не преминули бы об этом пошептаться. Старшего сына светлого Гарри Ли, Генри Ли IV, владельца Стратфорд-Холла, где родился Роберт, теперь называли "черным Гарри", как будто он был намерен превзойти отца в позоре и долгах. Будучи на двадцать лет старше своего сводного брата Роберта, Генри Ли уже успел стать печально известной фигурой, по масштабам превосходящей своего отца, и грозил навлечь позор на всех членов семьи Ли, какими бы далекими и респектабельными они ни были. И все это, а худшее было еще впереди!
Генри начинал достаточно хорошо, занимался политикой и был произведен в майоры во время войны 1812 года. По одной из странных ироний судьбы, не имея денег на обучение в Принстоне, альма-матер его отца, или в Гарварде, как его сводный брат Картер, он посещал тогда еще малоизвестный Вашингтонский колледж в Лексингтоне, штат Вирджиния, который его сводный брат Роберт прославил, согласившись принять пост президента после капитуляции армии Северной Вирджинии в 1865 году, и где он проведет последние пять лет своей жизни в качестве почитаемого героя-мученика побежденного Юга. Генри унаследовал Стратфорд от своей матери, но не получил денег, необходимых для поддержания большого дома в хорошем состоянии. Эту проблему он решил, женившись на Энн Робинсон Маккарти, конечно же, "дальней кузине" и богатой наследнице, чьи земли примыкали к владениям Генри. Белокурая, красивая и избалованная, Энн привезла в Стратфорд не только деньги и мебель, чтобы вернуть дому элегантность, но и свою не менее красивую младшую сестру Элизабет ("Бетси") Маккарти, чтобы та жила с ними. Путем сложных юридических маневров Генри удалось сделать себя законным "опекуном" Бетси и ее состояния, которое было немалым. У Энн и Генри был единственный ребенок, который, как говорят, унаследовал красоту матери, но умер в возрасте двух лет в 1820 году, поскользнувшись на верхней ступеньке знаменитой, драматически изогнутой входной лестницы Стратфорда и разбившись насмерть (она была второй Ли, погибшей таким образом за всю короткую историю Стратфорда).
После этой трагедии жизнь Генри, как и жизнь его отца, стремительно скатилась в мелодраму. Не в силах простить себе смерть дочери, Энн пристрастилась к морфию и лаудануму (сжиженному опиуму, любимому лекарству того времени), а Генри начал страстный роман под одной крышей с ее сестрой Бетси. Давал ли Генри Энн вещества, вызывающие зависимость, чтобы она не заметила, что у него роман с Бетси, неизвестно, но в любом случае морфий и лауданум в те времена можно было купить в любой аптеке без рецепта; более того, лауданум был основным компонентом, наряду с алкоголем, всех этих эликсиров с причудливыми названиями и патентованных лекарств, которые продавались от двери к двери в середине XIX века.
К несчастью для Генри, Бетси забеременела, или сказала, что забеременела, и написала отчиму и бывшему опекуну, который быстро увез ее в дом бабушки. Позже поползли слухи, что от ребенка избавились, возможно, Генри и Бетси, но более вероятно, что у Бетси случился выкидыш или что это была просто истерическая беременность. Однако до этого история стала известна, поскольку Генри и Бетси больше ни о чем не говорили всем, кто их слушал, и потому что Бетси обратилась в суд (успешно) с просьбой отменить опекунство Генри. Даже в те времена, когда еще не было бульварных газет, показания Бетси в суде о том, как ее деверь и опекун воспользовались ею, распространились как лесной пожар, к ужасу Лисов.