Он также был жестким, проницательным, бесстрашным и умело поднимался по ступеням колониальной политической лестницы. Он прибыл в Виргинию, пользуясь лишь "покровительством" сэра Фрэнсиса Уайета, первого губернатора Виргинии, и вскоре стал генеральным прокурором, затем государственным секретарем, потом членом королевского совета, верховным шерифом и полковником виргинского ополчения. В разное время он занимался торговлей пушниной, борьбой с индейцами, работорговлей и табачными плантациями, а затем стал одним из крупнейших землевладельцев Виргинии, одним из богатейших людей Северной Америки и основателем процветающей династии. Двое его потомков подписали Декларацию независимости, двое других (Роберт Э. Ли и его отец) стали генералами, а один, Закари Тейлор, не только генералом, но и президентом.
Ричард Ли был не просто работорговцем - в те времена, когда это еще считалось респектабельным бизнесом, - но и крупным рабовладельцем, а также крупным работодателем "подневольных слуг", в основном молодых британских мужчин и женщин, которые подписывались на три-семь лет работы без зарплаты, чтобы оплатить свой переезд в Америку и получить шанс на новую жизнь после окончания срока контракта; в отличие от рабов, их нельзя было покупать и продавать как движимое имущество. Таким образом, почти с самого начала в Виргинии существовало три класса: землевладельцы, обедневшие англичане, ирландцы, валлийцы и шотландцы, которые приезжали в качестве наемных слуг с намерением со временем стать независимыми фермерами или рабочими, и чернокожие рабы. Идея приобретения бедняком собственной земли была практически недостижима ни в Британии, ни где-либо в Европе - земля была магнитом, притягивающим людей через Атлантику, чтобы работать в условиях, не намного лучших, чем у рабов, и создающим основу для земельных спекуляций, которые так одерживали их ставленников. Получение "земельных грантов" от короны и превращение огромных, кажущихся бесконечными лесов на западе, откуда коренные американцы постепенно отступали или были изгнаны, или где их уничтожали болезни, в то, что мы сейчас называем развитой недвижимостью, было еще более крупным и прибыльным бизнесом, чем выращивание табака, и Ричард Ли преуспел в этом, как и во всех других делах.
Он был столь же удачлив в детях, которых у него было десять, как и в бизнесе и политике; в самом деле, семейный девиз можно было бы заменить знаменитым замечанием доктора Панглосса из "Кандида" Вольтера: "Все к лучшему в лучшем из возможных миров". ("Все к лучшему в лучшем из возможных миров"). У него было так много земли, что после смерти он смог оставить большие участки своим детям. Они построили на них внушительные дома и таким образом создали несколько ветвей семьи Ли, в каждом поколении которой рождались мужчины, обладавшие выдающимися достоинствами, и женщины, удачно вышедшие замуж. Ко времени Американской революции Джон Адамс из Массачусетса, отнюдь не безусловный поклонник Юга, считал, что в роду Ли "больше достойных мужчин... чем в любой другой семье". ...чем в любой другой семье".
Одна из ветвей этого быстрорастущего и могущественного дерева произошла от третьего из семи сыновей Ричарда Ли, Ричарда Генри Ли II, известного в семье как "Ричард-ученый", поскольку он получил образование в Оксфордском университете, собрал одну из крупнейших личных библиотек в Северной Америке и свободно писал на греческом, иврите и латыни. Он, как и его отец, занимал многочисленные колониальные должности, служил в Палате бургезов и Королевском совете. У него было восемь детей, один из которых, капитан Генри Ли I, стал отцом Генри Ли II, который женился на Люси Гримс, "красавице из низины", дальней родственнице Джорджа Вашингтона - Вашингтон очень ею восхищался, и, по общему мнению Ли, не только был в нее влюблен, но и уступил ее Генри Ли II.
Генри Ли II построил для себя красивое поместье, дом Ли, в Лисильвании, и там у них с Люси родилось восемь детей, первый из которых, Генри Ли III, более известный как Легкая Лошадь Гарри Ли, вырастет и станет, возможно, самым известным кавалерийским командиром Революционной войны, а также другом, Именно Генри Ли III произнес похоронную речь Вашингтона, назвав его "первым в войне, первым в мире и первым в сердцах своих соотечественников", - фразу, которую до сих пор помнят миллионы людей, даже не представляющих, кто был ее автором.