Энн Картер Ли, похоже, еще в раннем детстве выбрала Роберта как самого ответственного и надежного из своих детей. Она доверила ему ключи от шкафов и кладовых, отправляла его за покупками с корзинкой на плече и важной задачей - принести домой нужную мелочь. Она поручила ему присматривать за четырьмя рабами семьи Картер и выполнять функции семейной няни в случае болезни, которых было немало. Его забота о ней, когда он был маленьким мальчиком, просто поразительна. Он сопровождал ее в поездках, которые должны были быть полезны для ее здоровья, а в холодные дни "иногда доставал свой нож и притворялся, что защищает от ветра, засовывая бумагу в щели" семейной кареты.
Она твердо решила, что Роберт не вырастет таким же, как его отец, и посвятила много времени и сил его духовному благополучию. Для этой задачи она подходила необычайно хорошо; ее немногочисленные сохранившиеся письма свидетельствуют о потрясающих богословских познаниях, а также о точном чувстве добра и зла и глубокой духовной вере. "Самоотречение, самоконтроль и строжайшая экономия во всех финансовых вопросах были частью кодекса чести, которому она учила его с младенчества", и в зрелые годы Роберт Э. Ли часто говорил, что "всем обязан" своей матери. Это не значит, что она была каким-то религиозным фанатиком; ее сильный религиозный энтузиазм и абсолютная вера в Божью волю были нормальными для ее времени и эпохи, и, хотя и в другой форме, не более необычными, чем у Авраама Линкольна или Джона Брауна. Хотя религиозные корни ее семьи лежали в более мягком и формальном протестантизме Вирджинии конца XVIII века, перешедшем из Англиканской церкви Англии, Энн Картер Ли во многом была ребенком Второго Великого пробуждения, прокатившегося по Америке в начале XIX века, создавшего порой поразительные новые религиозные деноминации и сделавшего больший акцент на необходимости спасения и личной набожности, а не просто на посещении традиционных религиозных служб. Ее убеждения были теми, которые мы сейчас назвали бы евангельскими, и ей хватило силы духа и целеустремленности, чтобы на всю жизнь запечатлеть их в своем сыне Роберте - ведь самое поразительное в его письмах - это его пожизненная, простая, непоколебимая вера в необходимость безропотно принимать волю Божью и его глубокая вера. "Все в руках Божьих" - эту фразу он произносил часто, но не в духе фатализма, а в духе уверенности. Интенсивность религиозных убеждений Ли была одним из элементов, сделавших его грозным воином, а также одной из причин, почему он остается столь широко почитаемым не только на Юге, но и на Севере - не только как герой, но и как своего рода светский святой и мученик.
Однако эта религиозность не сделала его лишенным чувства юмора или менее одухотворенным, чем любой нормальный ребенок. Когда он впервые пошел в школу, в возрасте семи лет, он "стал немного упрямым" и властным - возможно, это было естественной тенденцией для мальчика, в жилах которого текла кровь Ли и Картера, а когда мать поинтересовалась его поведением, ей сообщили, что лучшим советом было "хлестать и молиться, молиться и хлестать", так что, вероятно, он не был свободен от случайных детских шалостей, несмотря на усилия его биографов придать ему, как и его кумиру Вашингтону, неправдоподобное совершенство. На протяжении всей жизни он был склонен к семейным шуткам, поддразниваниям, легкому флирту и хорошей беседе - только на публике он демонстрировал "мраморное лицо", которое так впечатляло тех, кто за него сражался.
Его расширенная семья была огромной, особенно со стороны Картеров. У его деда по материнской линии, Чарльза Картера, было "восемь детей от первого брака, а от второго - тринадцать". У деда Чарльза, сказочно богатого "короля" Картера, было не менее двенадцати детей, а у первого кузена Чарльза Роберта - шестнадцать. Возможно, потому, что Энн Картер Ли было комфортнее в своей собственной семье, чем в семье мужа, она проводила с Картерами как можно больше времени, так что Роберт Э. Ли рос в огромном и, на взгляд постороннего, запутанном рое первых и вторых кузенов, тетушек и дядюшек по браку и т. д. - "kinspeople".- "родственников", как их называли, - чьи "путешествия, переписка и обмен семейными новостями не прекращались годами" и которые на протяжении всей жизни Роберта Э. Ли доставляли ему удовольствие, сравнимое разве что с общением с собственными детьми. Даже в разгар Гражданской войны письма Ли домой полны упоминаний о родственниках Ли и Картера, пусть и отдаленных, которых он видел, и расспросов о здоровье и благополучии бесчисленных других.