Александр Семенович принадлежал к кругу высокообразованных людей своего времени, с широкими взглядами; по некоторым сведениям, он был масон, во всяком случае, он был близок О. А. Поздееву; его библиотека была одна из лучших в губернии. Современники называли его любителем просвещения. Понимая необходимость образования не только для дворянства, но и для крестьян, он первым в губернии открыл (19 мая 1814 г.) и содержал на протяжении всей жизни приходское двухклассное училище, где обучалось до 50 человек крестьянских детей. Унаследовав от отца поместье, обремененное долгами, он вынужден был выйти в отставку, чтобы заняться хозяйством. Он поселился в родовой вотчине — селе Покровском, которое было пожаловано Брянчаниновым еще в 1617 г. за Смоленское сидение и изгнание ляхов. «Воля его и вкус создали (из Покровского) маленький Версаль». Действительно, эта усадьба еще и сегодня, несмотря на все потери, поражает красотой старинного каменного дома в стиле раннего классицизма и парка с липовыми аллеями.
Он пережил почти всех своих детей. По воспоминаниям его внучки А. Н. Купреяновой1240, он «берег себя… Я знала деда в глубокой старости, но старости красивой и доброй: бывшая суровость его исчезла. В его ясных глазах светилась снисходительность, купленная ценою жизненного опыта. О наружности своей он заботился. Какое благородное спокойствие было в его лице, с тонкими чертами, в манере — важной, приветливой и старомодной! Как хороша была его изящная голова с густыми, серебристыми волосами, его прямой стан и неторопливая, милая, снисходительная речь!..»
«В полной памяти Александр Семенович дожил до 90 лет и умер без больших страданий от воспаления легкого». Похоронен он в Покровском, в семейном некрополе вблизи построенной им церкви.
Женой Александра Семеновича стала дочь Афанасия Матвеевича Брянчанинова, Софья Афанасьевна. В их браке соединились две ветви Брянчаниновых, разошедшиеся в середине XVII века. Софья Афанасьевна (1786 г. — 25 июля 1832 г.), по воспоминаниям родных, была красивой светской женщиной. В Вологодской областной библиотеке хранится принадлежавший ей альбом, свидетельствующий, что она получила прекрасное воспитание — отлично владела и русским, и французским языками, увлекалась поэзией и хорошо знала современных ей поэтов, особенно французских. Остается, однако, неизвестным, кто был ее воспитателем, так как ее отец Афанасий Матвеевич скончался в год ее рождения.
У Александра Семеновича и Софьи Афанасьевны родилось 16 детей, в живых осталось девять. «В начале супружества у них родилось двое детей, но родители не долго утешались ими, оба детища умерли на первых днях младенчества, и юная чета пребывала долго бездетною. В глубокой печали о своем продолжительном бесчадии, молодые супруги обратились к единственной помощи — помощи небесной. Они предприняли путешествие по окрестным святым местам, чтобы усердными молитвами и благотворением исходатайствовать себе разрешение неплодия. Благочестивое предприятие увенчалось успехом; плодом молитв скорбящих супругов был сын, нареченный Димитрием, в честь одного из первых чудотворцев Вологодских — преподобного Димитрия Прилуцкого. Таким образом, очевидно неплодство молодых Брянчаниновых было устроением Промысла Божия, чтобы рожденный после неплодства первенец, испрошенный молитвою, впоследствии сделался ревностным делателем и опытным наставником».
Следующим их ребенком была дочь Александра (р. 1808), в замужестве Жандр, затем самый близкий по духу старшему брату Петр (р. 1809), Софья (р. 1810) — Боборыкина, Михаил (р. 1811), Елизавета (р. 1813) — Паренсова, Александр (р. 1814), Семен (р. 1815), Мария (р. 1817) — Купреянова.
Александр Семенович, который сам отнюдь не придерживался аскетических правил в жизни, особенно после кончины жены, детей, однако, воспитывал в большой строгости. По воспоминаниям А. Н. Купреяновой, «настроение всей семьи Покровского Брянчаниновых было глубоко православное и церковное. Суровое воспитание детей сыграло для них роль тяжкого молота, который «дробя стекло, кует булат». Оно выковало из них людей строгой честности и серьезного отношения к жизни; в них не было ничего пошлого, но не было, может статься, и достаточной мягкости характера, терпимости к чувствам и идеям других». Глубоко православное и церковное воспитание детей определенно сказалось на их судьбе: из пяти, доживших до зрелого возраста сыновей Александра Семеновича, лишь один — Семен Александрович — остался в миру до конца жизни, остальные братья закончили свой земной путь в монастырях.