Кроме иерархов, о.Амвросия посещали и многие выдающиеся светские лица. Оптиной Пустынью интересовались такие видные философы и писатели, как В. Соловьев, С.П. Шевырев, И.В. и П.В. Киреевские, М.П. Погодин и другие. Они часто посещали эту обитель не из-за пустого любопытства, а с надеждой получить благословение и укрепить свои духовные силы. С благословением эти люди изучали и описывали Оптину Пустынь, так как малейшее знакомство с жизнью и деятельностью оптинских старцев порождало в душе исследователей стремление глубже изучить и определить ее значение в истории Русской Церкви. Они сознавали высоту внутреннего строя Оптиной Пустыни. И.В. Киреевский прямо говорит, что для ознакомления с христианством необходимо познакомиться с жизнью оптинских старцев.
Слушали беседы старца Амвросия и пользовались его духовными советами Н.В. Гоголь, А.П. Толстой, Ф.М. Достоевский, К.Н. Леонтьев, Л.Н. Толстой. К Ф.М. Достоевскому, приезжавшему в Оптину после смерти любимого сына, старец отнесся с уважением и сказал о нем: "Это кающийся". Иеросхимонах Иосиф пишет, что беседы Достоевского с иеромонахом Амвросием длились подолгу, они говорили о многих насущных вопросах духовной жизни и спасении души. Вскоре затем появились в печати "Братья Карамазовы", написанные отчасти под впечатлением посещения Достоевским Оптиной Пустыни и бесед с о.Амвросием.
К.Н. Леонтьев провел под непосредственным руководством старца Амвросия последние годы жизни, живя рядом с Оптиной Пустынью. За несколько дней до кончины старца он принял тайный постриг и позже переехал в Сергиев Посад, где вскоре и скончался.
Вот как отзываются о старце Амвросие Л.Н. Толстой: "Этот о.Амвросий совсем святой человек. Поговорил с ним и как-то легко и отрадно стало у меня на душе. Вот когда с таким человеком говоришь, то чувствуешь близость Бога".
По свидетельству современника, Л.Н. Толстой, следуя за движениями народного духа, лично проверял факты религиозной жизни и отношения народа к своему духовному наставнику и для этого несколько раз посещал Оптину Пустынь. У старца Амвросия Толстой был трижды. Первый раз - в 1874 году, во второй раз пришел пешком в крестьянской одежде со своим конторщиком и сельским учителем в 1881 или 1882 году (расстояние между Оптиной Пустынью и Ясной Поляной - 200 км.), а в третий раз приехал со своей семьей в 1890 г.
Самую продолжительную беседу с о.Амвросием Лев Толстой имел при посещении Оптиной Пустыни в третий раз. Он отправился к о.Амвросию после того, как у старца побывала его семья, очень довольная и утешенная его беседой. Известно, что в этой беседе о.Амвросий предлагал Толстому принести публичное покаяние в своих заблуждениях. Выходя из кельи, Лев Николаевич высказался о своей беседе со старцем такими словами: "Я растроган, я растроган". А о.Амвросий о своей бесед с ним сказал: "При входе Толстого в мою келью я благословил его, и он поцеловал меня в щеку. Горд очень".
Л.Н. Толстой после кончины о.Амвросия посещал старца Иосифа, он также приехал в Оптину Пустынь в последний год своей жизни, собираясь надолго остановиться в близлежащей деревне. Вообще, Оптина Пустынь сыграла основную роль в осознании Л.Н. Толстым своих заблуждений. Это прекрасно видно из его разговора со своей сестрой - монахиней Шамординской обители.
"Сестра, - говорил Л.Н. Толстой, - был в Оптиной; как там хорошо! С какою радостию я теперь надел бы подрясник и жил бы, исполняя самые низкие и трудные дела; но поставил бы условие - не принуждать меня молиться: этого я не могу". Сестра отвечала: "Это хорошо, брат, но и с тебя взяли бы условие - ничего не проповедовать и не учить". "Чему учить? Там надо учиться; в каждом встречном насельнике я видел только учителей. Да, сестра, тяжело мне теперь. - А у вас? Что, как не Эдем? Я и здесь бы затворился в своей храмине и готовился бы к смерти: ведь 80 лет, а умирать надо", - сказал граф. Потом, наклонив голову, он задумался и сидел так до тех пор, пока не напомнили ему, что он уже кончил обед.