Ричмонд, по которому он ехал, был разрушенным городом, улицы превратились в дорожки, проложенные среди обломков и гари от пожара, уничтожившего большую его часть. Прохожие приветствовали его, когда он подъезжал к дому 707 по Франклин-стрит, и он с серьезным достоинством отвечал на их приветствия. Перед домом он сел на землю и передал поводья Тревеллера одному из своих санитаров, затем открыл ворота в кованой ограде, поднялся по ступеням между дорическими каменными колоннами крыльца и вошел внутрь, чтобы начать новую жизнь.
Он не сдал свой мундир и не собирался этого делать еще какое-то время. Мэтью Брейди, знаменитый фотограф, который был не только неутомимым охотником за знаменитостями, но и великим художником, сфотографировал Ли на заднем крыльце своего дома всего через двадцать четыре часа после его возвращения в Ричмонд. Люди предупреждали Брейди, что "нелепо" предполагать, что Ли будет позировать ему в такой момент, но Брейди был человеком с большой силой убеждения, и он уже фотографировал Ли раньше, первый раз в 1845 году. Он считал, что это будет "исторический" снимок, и, видимо, Ли согласился: он позволил Брейди сделать шесть фотографий, в эпоху, когда каждое сидение предполагало длительное пребывание в полной неподвижности. В середине девятнадцатого века фотографирование себя все еще было формальным и серьезным событием. На одной из фотографий Брейди Ли стоит в дверном проеме с вызывающим видом, все еще в полковничьих звездах и пуговицах Конфедерации, но без меча. На другой он сидит на улице в мягком кресле, взятом из дома, его серая шляпа лежит на коленях, выражение лица отстраненное, возможно, даже страдальческое, а справа от него стоит его сын генерал-майор Кэстис ("Бу") Ли, а слева - его адъютант полковник Тейлор. Возможно, гражданская одежда Ли была давно потеряна. Три месяца спустя он все еще носил свой старый серый мундир Конфедерации, но уже без звезд и позолоченных пуговиц, и в другой шляпе. Его переход к гражданской одежде, очевидно, занял некоторое время, как и у бесчисленных менее известных ветеранов Конфедерации.
Если на некоторых фотографиях Брейди выражение лица Ли выглядит потрясенным, это неудивительно. За считанные дни он превратился из командующего всеми армиями Конфедерации в человека, которому нечем заняться, к тому же он стал невольной туристической достопримечательностью. Любопытствующие вынуждали его совершать прогулки по ночам; постоянный поток звонивших искал у него помощи, благословения, сочувствия или совета. Он уже стал символом поверженной Конфедерации, хотел он того или нет.
Счастливый от того, что вернулся к своей семье, Ли испытывал все лишения того периода на Юге. Самые обычные продукты питания, такие как сахар, чай и мука, были в дефиците или недоступны; валюта Конфедерации (как уже отмечалось выше) ничего не стоила; победоносный Север не спешил кормить побежденный Юг. Дом Ли был переполнен, его жена была практически прикована к постели, их дочери Милдред и Агнес изнемогали от забот о стольких людях, а сам Ли боролся с самообвинениями и горем, его лицо, как многие замечали, было так сильно изрезано, как будто он постарел за одну ночь: "Горести Юга были бременем [остатка] его жизни".
Однако Ли было всего пятьдесят восемь лет, он был активным человеком и советовал всем, кто его искал, найти работу и начать процесс восстановления, и себя он от этого не освобождал. Он посоветовал своему сыну Руни вернуться на свою разоренную плантацию Уайт-Хаус и заняться фермерством. Вскоре к Руни присоединился его брат Роб, и Ли явно нужно было искать себе занятие. Ли повезло в том смысле, что мальчики все еще владели недвижимостью, которую можно было обрабатывать, оставленной им дедом, а Ли все еще хранил облигации, которые приносили скромный доход, хотя и недостаточный для нужд семьи в Ричмонде. Их дом был арендован Кэстисом Ли у мистера Джона Стюарта - восхитительного и сочувствующего хозяина, который убеждал Ли оставаться в доме "до тех пор, пока вам будет удобно оставаться в Ричмонде", и отказывался принимать какую-либо оплату, если только она не была "сделана в долларах Конфедерации", что фактически делало дом бесплатным для аренды. Ли был не из тех, кто принимает такую щедрость, пусть даже из лучших побуждений; он также не хотел оставаться в Ричмонде на неопределенный срок. Он вообще не был городским человеком, и ему казалось, что Мэри Ли будет лучше вдали от руин Ричмонда и постоянного присутствия федерального гарнизона. Она была гораздо более озлоблена победой Союза, чем ее муж. Как только Ли сдался, он принял федеральное правление и его последствия; его "подчинение гражданской власти" было подлинным. Он сделал все, что от него требовалось, чтобы добиться помилования, и не по его вине оно затянулось на 110 лет, но чувства Мэри Ли к Северу были менее снисходительными. Она по-прежнему считала Конфедерацию святым делом, и Ли опасался последствий ее пребывания в оккупированном городе, не считая опасности заболеть и заразиться там в летние месяцы.