Гоголя привлекало в Толстом многое, в частности природная доброта, религиозная настроенность души, склонность к аскетизму. Анна Васильевна Гоголь рассказывала В. И. Шенроку со слов брата, что граф Толстой носил тайно вериги2168. По свидетельству Т. И. Филиппова, «он усердно исполнял все постановления Церкви и в особенности был точен в соблюдении поста, которое доводил до такой строгости, что некоторые недели Великого поста избегал употребления даже постного масла. На замечания, которые ему приходилось нередко слышать о бесполезности такой строгости в разборе пищи, он обыкновенно отвечал, что другие, более высокие требования христианского закона, как, например, полной победы над тонкими, глубоко укоренившимися от привычки страстями, он исполнить не в силах, а потому избирает по крайней мере такое простое и ему даже доступное средство, чтобы выразить свою покорность велениям Церкви…»2169.
Взаимоотношения графа Толстого и Гоголя в корне отличались от всех светских, приятельских и литературных знакомств писателя; если в дружбе Гоголя с Аксаковыми, П. А. Плетневым, М. П. Погодиным, С. П. Шевыревым главную роль играли общие литературные интересы, а также их преклонение перед его талантом, то Толстой, по его собственным словам, «вовсе не являлся поклонником сочинений» Гоголя2170. Однако ему не была чужда сфера литературы и искусства: он был широко образованным человеком и, например, ценил и понимал поэзию. Генерал А. О. Дюгамель, подружившийся с графом Толстым в 1825 г. во время Аральской экспедиции, вспоминал: «Будучи молоды, мы в часы досуга наслаждались поэзиею. Я читал ему наизусть некоторые стихотворения Шиллера, а он, в свою очередь, знакомил меня со стихотворениями Пушкина и научил ценить их»2171. А. О. Смирнова пишет, что Толстой дружил «с монахами Греческого подворья, бегло читал и говорил по-гречески; акафисты и каноны приводили его в восторг; они писаны стихами, и эта поэзия ни с чем не может сравниться»2172. Начитан был граф Толстой и в духовной литературе. По словам Т. И. Филиппова, «он ежедневно и помногу упражнялся в изучении Св. Писания, знаменитых его истолкователей, а также в чтении бессмертных произведений великих отцов Церкви, из коих особенно любил св. Василия Великого как одного из величайших учителей вселенной и недостижимо высоких художников слова…»2173. При этом святых Отцов Толстой по большей части читал в оригинале (на греческом и церковно-славянском). Среди его друзей и знакомых было немало писателей, ученых и государственных деятелей — Н. М. Карамзин, А. С. Пушкин, В. А. Жуковский, А. С. Хомяков, В. И. Даль, В. Гумбольдт, граф М. Н. Муравьев, граф И. Каподистрия. По должности Обер-прокурора Синода он знал всех иерархов Русской Православной Церкви, а также имел дружеские и официальные связи с церковными деятелями Запада и Востока. Т. И. Филиппов писал графине Анне Георгиевне Толстой в августе 1875 г.: «Память о графе Александре Петровиче хранится благоговейно во всех тех монастырях Православного Востока, которые мне удалось посетить»2174.