При таких обстоятельствах неудивительно, что его пребывание в Вашингтонском колледже было отмечено как минимум четырьмя расовыми инцидентами, которые привлекли большое внимание на Севере. В первом случае речь шла о четырех студентах, один из которых был обвинен в избиении вольноотпущенника пистолетом во время гневного спора - не совсем студенческая шалость. Вторая, более серьезная ссора, известная как "дело Джонстона", произошла между группой студентов и вооруженным северянином, который выражал сильную симпатию к чернокожим. Третьей проблемой стала жалоба северянки, обучавшей чернокожих детей, на то, что ученики оскорбляли и преследовали ее, называя "проклятой сукой янки, учителем черномазых". Четвертый инцидент произошел из-за обвинения в том, что некоторые студенты колледжа задержали "негритянского юношу", который застрелил и ранил одного из сыновей судьи Брокенброу, и повели его к зданию суда с петлей на шее с явным намерением линчевать его.
Ли тщательно расследовал все эти инциденты - все они оказались преувеличенными - и удалил тех, кого признал виновными (обвинение школьной учительницы в том, что оскорблявшие ее люди были студентами Вашингтонского колледжа, проверить не удалось). Но он получил нежелательное внимание северной прессы. Не менее известный аболиционист Уильям Ллойд Гаррисон обвинил его в том, что он руководит "школой для бунтовщиков" и не годится для управления учебным заведением. Гаррисон жестоко усомнился в способности "побежденного предводителя повстанческих армий" учить своих учеников верности Союзу, "который он так недавно пытался разрушить!". Ли, который мог бы оказаться в плену в форте Монро рядом с Джефферсоном Дэвисом, если бы не вмешательство генерала Гранта, не поддался искушению ответить или оправдаться. Тем не менее, эти проблемы иллюстрируют глубину горечи, царившей с обеих сторон между Севером и Югом, и ту тонкую грань, которую приходилось преодолевать Ли, чтобы поддерживать функционирование колледжа. Ли был безразличен к собственной репутации, но его характер "джентльмена и христианина" был таков, что защищал колледж и даже заслужил похвалу аболициониста Генри Уорда Бичера, чья сестра Гарриет Бичер-Стоу была автором "Хижины дяди Тома". Бичер сказал нью-йоркской аудитории, что Ли "имеет право на все почести", и похвалил его за то, что он посвятил себя "священному делу образования".
Несмотря на все давление, Ли дал показания на суде над Джефферсоном Дэвисом в Ричмонде. Он даже принял приглашение Гранта навестить его в Белом доме. Помимо всего этого, Ли, похоже, вернулся к спокойной домашней жизни, которая всегда доставляла ему огромное удовольствие. Хотя миссис Ли не могла пересечь комнату без помощи костылей, дом всегда был полон; его дочери часто бывали дома, чтобы составить ему компанию; он и Милдред, когда она была дома, вместе ездили верхом, причем Милдред ездила на Люси Лонг, кобыле, которую подарил ему Джеб Стюарт. Лошадь была потеряна и предположительно захвачена федералами весной 1864 года, но была возвращена Ли в 1866 году. Дочери Ли с удовольствием катались на коньках, когда замерзали пруды, и у них было много кавалеров, чтобы развлечь их, но не было серьезных женихов, чтобы беспокоить их отца. Милдред, прирожденная любительница животных, коллекционировала кошек, в том числе и Тома Ниппера, который до переезда в дом воспитывался в конюшне рядом с клеткой Путешественника. Через 122 года Том Ниппер станет главным героем романа "Путешественник" Ричарда Адамса, автора "Уотершип Даун".
Ли часто брал миссис Ли в один из спа-салонов в окрестностях Лексингтона, поскольку купание в водах было для нее единственным спасением от постоянных болей. Они оба наслаждались светской жизнью. Ли всегда был наиболее счастлив в хорошей компании, поэтому кажется печальным, что лучшую часть своей жизни он провел в качестве солдата. Несмотря на катастрофу поражения и его последствия для его любимой Виргинии, годы с 1866 по 1870-й кажутся одними из самых счастливых в его жизни, и это был период, когда грозный герой превратился в гораздо менее величественную и менее удаленную фигуру. Он оставался любящим отцом и мужем, с сильным интересом к сельскому хозяйству и дразнящим, ласковым чувством юмора, очень похожим на человека, за которого вышла замуж Мэри. Те, кто встречал его тогда, описывали его как яркого и жизнерадостного человека, и, несмотря на трепет, с которым к нему относились, он, похоже, проводил время так хорошо, как только позволяло его здоровье. Но не было никаких сомнений в том, что его здоровье ухудшается, а боли в левой руке и груди, которые приписывали ревматизму, на самом деле были стенокардией, сигнализирующей о закупорке артерий и неработающем сердце. Его ухудшение было настолько заметным, что правление и профессора Вашингтонского колледжа постоянно призывали его взять отпуск, чему он вежливо противился. Несмотря на это, Ли испытывал постоянные боли, и ходить ему становилось все труднее. Его объем работы оставался таким же огромным, как и прежде: он завершал пересмотренное и исправленное издание книги своего отца "Мемуары о войне в Южном департаменте", что было не столько любовью, сколько долгом; руководил быстро развивающимся колледжем; с перерывами работал над историей своих кампаний, продолжая лично заботиться о моральном благополучии своих студентов и ведя поистине поразительную по объему переписку, причем всю ее он вел собственноручно.