С развитием своей популярности среди населения Федор Козьмич приобретал все более широкий круг почитателей, которые нередко обращались к нему за советом и наставлением. Однако эта известность тяготила старца и побуждала его еще более дорожить своим уединением. Он реже начинает выходить к посетителям, дверь его кельи все чаще остается закрытой. Случались периоды, когда он по целым дням сидел в келье безвыходно.
Из посещавших Федора Козьмича можно отметить епископа Парфения, епископа Иннокентия Камчатского, советника Томского губернского суда Л. И. Савостина и др. Афанасий, епископ Иркутский, не раз навещал старца и даже останавливался у него в келье иногда по нескольку дней. Первая встреча их произошла в селе Краснореченском. Афанасий сам пригласил к себе Федора Козьмича. «Владыка вышел встретить его на крыльцо, — рассказывает очевидец. — Выйдя из одноколки, старец Федор поклонился архиерею в ноги, а владыка старцу, причем они взяли друг у друга правую руку и поцеловались, как целуются между собой священники. Затем преосвященный, уступая дорогу старцу, просил его идти вперед, но старец не соглашался; наконец, владыка взял старца за правую руку, ввел его в горницу, где раньше сам сидел, и начал с ним ходить, не выпуская его руки, как два брата. Долго они так ходили; много говорили даже не по-нашенски, не по-русски, и смеялись. Мы тогда дивились, кто такой наш старец, что ходит так с архиереем и говорит не по-нашенски».
Существует заслуживающий доверия рассказ дочери Хромова о каком-то таинственном высокопоставленном госте старца. Вместе с отцом она приехала навестить Федора Козьмича, когда тот жил еще в Коробейникове. Старец вышел к ним на крыльцо и сказал: «Подождите меня здесь, у меня гости». «Мы отошли немного в сторону от кельи, — рассказывает она, — и подождали у лесочка. Прошло около двух часов времени; наконец из кельи, в сопровождении Федора Козьмича, выходят молодая барышня и офицер в гусарской форме, высокого роста, очень красивый и похожий на покойного наследника Николая Александровича. Старец проводил их довольно далеко, и, когда они прощались, мне показалось, что гусар поцеловал ему руку, чего он никому не позволял. Пока они не исчезли друг у друга из виду, они все время друг другу кланялись. Проводивши гостей, Федор Козьмич вернулся к нам с сияющим лицом и сказал моему отцу: «Деды-то как меня знали, отцы-то как меня знали, дети как знали, а внуки и правнуки вот каким видят»».
«Старец был глуховат на одно ухо, — рассказывает один из его посетителей, — потому говорил немного наклонившись. Во время разговора он или ходил по келье, заложив пальцы правой руки за пояс, как это делают почти все военные, или стоял прямо, повернувшись спиной к окошку». Вышеупомянутый JI. И. Савостин часто навещал старца; в беседе между ними, «которая велась иногда на иностранных языках», обсуждались вопросы государственные, политические и общественные: всеобщая воинская повинность, освобождение крестьян, война 1812 года.
Традиция о Федоре Козьмиче упорно подчеркивает, что он обнаруживал большое знание высшего петербургского света и закулисной придворной жизни конца XVIII и начала XIX века. Он знал всех крупных государственных деятелей, давал их характеристики: с глубоким уважением отзывался о митрополите Филарете и архимандрите Фотии; рассказывал об Аракчееве, его деятельности и военных поселениях; вспоминал знаменитого Суворова, а также Кутузова. «Эти люди, — замечал он о них, — были не простые воины, а благодатные». Об императоре Павле I старец никогда не упоминал, об Александре I — редко. «Когда в 1812 году входили французы в Москву, — рассказывал старец, — император Александр приходил к мощам Сергея Радонежского, помолился ему со слезами, и вдруг слышен был глас от угодника: «Иди, Александр, дай полную волю Кутузову, да поможет Бог изгнать из Москвы французов»».
Уходя в воспоминания далекого прошлого, старец весь преображался, глаза у него блестели, он весь оживал. О войне с Наполеоном, о двенадцатом годе он рассказывал с такими подробностями, которые явно изобличали в нем человека, лично принимавшего участие в этих событиях. «Когда Александр I в 1814 году въезжал в Париж, — рассказывал старец, — под ноги его лошади постилали шелковые платки и материи, а дамы на дорогу бросали цветы и букеты. Александру это было приятно. Во время этого въезда граф Меттерних ехал справа от Александра и имел под собой на седле подушку».