Хотя путешествие на лодках по каналу иногда описывают как идиллическое, на самом деле оно не было таким. Постоянный стук копыт и фырканье тягловой лошади, частые шумные остановки, когда шлюзы трудолюбиво заполнялись, а затем открывались, мешали спать, а в каютах внизу было тесно и жарко (Мэри Коулинг описывает их как "крошечные" и "удушливые"). После вечерней трапезы задергивали занавес, чтобы разделить мужчин и женщин. То, что Ли, привыкший к спартанской жизни, предпочел спать на палубе, говорит о многом.
Пакет прибыл на пристань Пембертон вскоре после рассвета, и Ли встретили Кьюстис, ехавший верхом на Путешественнике, и один из сыновей миссис Кок, Эдмунд. Миссис Ли пришлось вынести с корабля и посадить в карету для короткой поездки в Окленд, где они должны были пробыть неделю, пока Дервент готовили к их приезду. В Окленде были все удобства виргинского особняка - рейдерские отряды федералов добрались до него, но не разграбили и не разгромили, и Ли заметно расслабился. В течение той недели произошел показательный инцидент. Когда Ли и семья Кок сидели за столом, дворецкий миссис Кок, бывший раб, вошел в столовую, "чтобы попрощаться, поскольку он уезжает, чтобы попытать счастья в качестве вольноотпущенника". Ли поднялся из-за стола и "сердечно" пожал ему руку, прервав трапезу, чтобы дать совет, и "попросил Небеса благословить его".
Не каждый южанин в те дни пожал бы руку чернокожему - Ли не раз вызывал удивленные взгляды окружающих, - и уж тем более не благословил бы отъезд человека, который всего несколько недель назад был собственностью хозяйки. В расовых отношениях, как и в других вопросах, Ли подавал пример теплоты, сочувствия, доброты и достоинства. Но это, надо отметить, не изменило его мнения о чернокожих. Всего за несколько недель до этого, навещая полковника Томаса Картера в Пампатике, он советовал своему кузену не полагаться в качестве рабочей силы на своих бывших рабов. "Я всегда замечал, - сказал ему Ли, - что где бы вы ни нашли негра, все вокруг него приходит в упадок, а где бы вы ни нашли белого человека, вы видите, что все вокруг него улучшается". Взгляд Ли на чернокожих всегда был одновременно благожелательным и скептическим. Ему не нравилось владеть рабами, как своими, так и тех, что миссис Ли унаследовала от отца, и он нарушил тогдашний закон Вирджинии, открыв для них школу. Следуя воле мистера Кэстиса, Ли эмансипировал их в 1862 году, но его мнение об их участии в политике осталось неизменным. Его последнее слово по этому вопросу прозвучало перед комитетом Конгресса восемь месяцев спустя: "Мое собственное мнение, - ответил он на вопрос под присягой, - заключается в том, что в настоящее время они не могут голосовать разумно, и что предоставление им избирательного права откроет дверь для большого количества демагогии и приведет к различным неудобствам. Что может показать будущее, насколько разумными они станут, какими глазами будут смотреть на интересы штата, в котором они проживают, я не могу сказать больше, чем вы".
До войны Ли выражал убеждение, что рабство - большее зло для рабовладельца, чем для раба, и что оно является "моральным и политическим злом". Он также считал, что рабство было частью Божьего процесса цивилизации негров и может быть прекращено только тогда, когда Бог решит положить этому конец. Это мнение было широко распространено на Юге до войны, и в разных формах оно сохранится вплоть до двадцатого века. Убеждение Ли в том, что выход чернокожих из рабства должен быть отдан в руки Бога, а не законодательно или силой навязан Югу, он исповедовал тихо, но твердо на протяжении всей своей жизни. Он не менял ее и не извинялся за нее, и его откровенность на эту тему перед комитетом Конгресса, по крайней мере, заслуживает искренности. Возможно, ключевой фразой в заявлении Ли перед комитетом является "в настоящее время". Он не приписывал чернокожим постоянную неполноценность, как многие на Юге, но допускал, что время (и Бог) могут изменить их положение так, как он не может предвидеть или предсказать. Все было или должно было быть, как он любил говорить, "в руках Божьих". По меркам многих конфедератов его взгляды были умеренными, и попытки северных конгрессменов вывести его на более глубокую дискуссию не увенчались успехом.