В свою очередь, Петр Александрович всегда старался оказывать поддержку брату, выполняя различные его поручения, а во время своего губернаторства в Ставрополе помогал ему в делах по управлению Епархией. Письма самого Петра Александровича ставропольского периода, под влиянием постоянного общения с братом, совершенно изменились. Из них исчезло личное, исчезли бытовые подробности, заполнявшие многие страницы в прежнее время. Теперь он больше сосредоточивается на общем ходе событий, свидетелем и участником которых ему приходилось быть. Для нас же в этих письмах особенно важно то, что относится к его брату. Дело в том, что Святитель Игнатий в своих письмах, как правило, вовсе не касался своей деятельности ни в Сергиевской пустыне, ни теперь, на Кавказской и Черноморской кафедре, сосредоточивая внимание своих корреспондентов на «едином на потребу» — спасении человека. Из писем же Петра Александровича можно получить некоторые дополнения к сведениям об этой деятельности, приведенным в жизнеописаниях Святителя.
Так, в письме Н. Н. Муравьеву-Карскому от 2 октября 1858 г. он пишет: «Преосвященный Игнатий на днях возвратился из Кизляра; в пути своем, в Червленной Станице, имел продолжительную беседу со старообрядцами, в Моздоке — с черкесами, в Кизляре — с армянами. Ваше слово о влиянии веры — справедливо, но без покровительства ему со стороны мирских властей трудно бы было иметь успех значительный, хотя бы и при ревности со стороны главного духовного лица в крае».
Сразу же после ухода Святителя Игнатия на покой и перемещения в Николо-Бабаевский монастырь Петр Александрович Брянчанинов начал хлопотать об отставке. 16 марта 1862 г. он пишет Н. Н. Муравьеву-Карскому: «Все обстоятельства, сопровождающие мое служение, сложились так, что лучшее, что я могу предпринять — это отставка. По образу мыслей, по убеждениям о полезном, по понятию о добре и зле я так расхожусь с пониманиями и стремлениями большинства деятелей общественных, что или должен нарушить святость совестливых убеждений моих или (большею частию безуспешно для дела) бороться и раздражать большинство. При этом напряженном состоянии я ощутительно стареюсь, утраты способностей с каждым днем делаются ощутительнее. В виду у меня жизнь с братом и сыном тем пенсионом, который я выслужил, прослужив более 35 лет Отечеству и обществу. Остальное не мое, — отдаюсь в волю Божию, и молю Господа даровать мне полезнейшее для приготовления к исходу; но искренно говорю Вам: тягощусь даже мыслию возможности оставаться среди среды, в которой стою — одинокий, по убеждениям и стремлениям, благодаря Бога за самую эту скорбь!» Получив отставку, он сообщает Николаю Николаевичу 1 июля 1862 г.: «Письмо Ваше от 26-го мая я получил уже на новом месте жительства моего, куда приплыл Волгою 22-го числа июня, после 17-ти дневного пути от Ставрополя.
…22-го июня приехал я к брату Преосвященному и сыну. Более близких людей в мире у меня нет, имения, собственно мне принадлежащего, у меня нет, а потому я намерен оставаться здесь на правах гостя, не стесняя себя ограничениями времени. Получаемая мною пенсия даст мне возможность в материальном отношении не быть в тягость ни Владыке, ни монастырю, а между тем, соединяя меня с сыном, доставляет мне самое существенно полезнейшее положение. …Сегодня получил я уведомление от Буткова, что кроме узаконенной пенсии (860 р.), мне назначено Всемилостивейше, по представлению князя Барятинского. Орбелиани 1716 р. добавочной».
Приехав в монастырь, Петр Александрович поместился там «на правах гостя» с правом беспрепятственных отлучек из него, которые были ему необходимы для устройства разных дел. Ему часто приходится выезжать в Петербург. После нескольких лет, проведенных на Кавказе, его поражают изменения, происшедшие в столичном обществе: «Напрасно Вы думаете, — пишет он Николаю Николаевичу 11 октября 1862 г., — что я настолько остыл сердцем, что совершающееся вне стен моего жительства не касалось бы меня, было бы совершенно чуждо мне. Нельзя не внимать к происходящему пред глазами. Недостаток в добросовестных и правильно понимающих дело деятелях ощущается повсюду. Литература, такая, как она сложилась у нас, этому недостатку не помогает, да и не может помочь, потому что, с немногими исключениями, сами литераторы, пропитанные материализмом, а потому и полнейшей безнравственностию, посевают больше зла, чем искореняют его, мнимою пользою гласности, под покровом которой действуют часто (и даже по большей части) зависть, мщение, клевета и ложь. Правила же нравственныя, ими распространяемыя, способны только уничтожить то немногое добро, которое держится в народе его религиозными преданиями. …Трудно предвидеть, какой исход готовится этой грозной борьбы, в которой в лице литературистов, сторонников прогресса, и прогрессистов нелитературы, восстало злое начало, восстал ад, против начал добра — против веры Христовой, в ея необходимом приложении к жизни». Эти мысли сильно волнуют Петра Александровича. «13-го числа вечером я приехал сюда и отдыхаю от напряженной Петербургской жизни, — пишет он 24 декабря того же года, — где, при всем моем малом внимании к происходящему, нельзя было не видеть, а особенно не слышать о страшном развитии и цинизме разврата литературного и деятельного прогрессистов. Что разврат этот проникает всюду, что он выносится из столицы в провинции, из среды зараженных, в среды незараженные и там разливает яд свой — это неоспоримо.