Беспрерывная служба, походы и сражения отрывали дворян от дома. Многие из них обзавестись семьей могли только при выходе в отставку или приближаясь к ней. Так и Андрей Михайлович женился около своего 50-летия и имел только одного сына Семена. Родился Семен Андреевич Брянчанинов около 1745 г. О его службе можно узнать из Указа Екатерины II об его отставке: «Объявитель сего армии порутчик Семен Брянчанинов служил сначала артиллерии во 2 фузелерном полку с тысяча семьсот шестьдесят пятого, в полку лейб-гвардии Преображенском — с семьсот семьдесят перваго, а сего семьсот семьдесят втораго года генваря в первый день по силе Высочайше Ея Императорского Величества (Указа) на поднесенном от полку докладе конфирмации по прошению ево за болезьми от воинской и статской служб и от всех дел из фурзеров отставлен с награждением за добропорядочную службу показанным от армии порутчичьим чином. Того ради жить ему в России свободно».
Таким образом, срок военной службы отца Семена Андреевича составил 40 лет, а он сам прослужил всего семь лет. Он был первым в этой линии Брянчаниновых, чье время службы проходило после Указа о даровании вольности Российскому дворянству. Как и многие его сверстники, он предпочел оставить тяготы военной жизни и, вернувшись в свое поместье, заняться хозяйством. Дальнейшая его деятельность на общественном поприще выражалась в участии во вновь созданных органах местного управления: в 1780–1790 гг. он был заседателем в Верхнем земском суде в Вологодской губернии.
Женат Семен Андреевич Брянчанинов был на дочери коллежского асессора (впоследствии действительного статского советника) Дмитрия Ивановича Волоцкого, Павле Дмитриевне. У них было два сына — старший Александр, проживший долгую жизнь, и младший — Николай, родившийся 17 июля 1788 г. и не доживший до зрелого возраста.
Семен Андреевич был человеком широкообразованным. Об этом свидетельствует собранная им библиотека, часть книг из которой (с владельческими записями и оттисками печати СБ) находится в Вологодской областной библиотеке. В их числе: «Кандид, или Оптимисм» Вольтера, список трактата Фонтенеля «Разговоры о множестве миров» в переводе Кантемира, ряд драматических сочинений: «Комедии из театра» Мольера, трагедия «Синав и Трувор» Сумарокова и др., а также комическая опера Гретри по пьесе Фенцило де Фальбера «Двое скупых». Наличие именно этих книг в библиотеке Семена Андреевича не случайно: сохранились сведения об его серьезном увлечении театром и о том, что именно он являлся содержателем «вольного театра» в Вологде, спектакли в котором смотрели и городские обыватели и приезжающие на них помещики. При этом, Семен Андреевич, по-видимому, был не только «содержателем» театра, но и постановщиком спектаклей. Об этом можно судить по надписи, сделанной им на трагедии Сумарокова: «В роли Гостомысловой — 304 строки, в роли Ильмениной — 431 строка».
Увлечение театром, однако, стоило дорого, к концу жизни он разорился и оставил своим наследникам одни долги.
Последний раз имя Семена Андреевича Брянчанинова в архивных документах встречается в 1798 г., когда он был воспреемником пятого родного правнучатого племянника, Александра Петровича Брянчанинова. Павла Дмитриевна пережила мужа и присутствовала при рождении внучат.
Сын Семена Андреевича, Александр Семенович Брянчанинов (7 мая 1784 г. — 19 апреля 1875 г.), своим современникам запомнился, прежде всего тем, что он был пажом при Павле Петровиче: «В 1797 г. по именному указу определен в Императорский Пажеский корпус пажом». Пажеский корпус был привилегированным учебным заведением, в котором дети из знатных семей воспитывались вместе с детьми императорской фамилии. Аристократический налет, который Александр Семенович приобрел в Пажеском корпусе, был его отличительной чертой на протяжении всей жизни.
Из Пажеского корпуса он был «выпущен в Александрийский гусарский полк корнетом в 1802 г. 10 августа; уволен от полевой службы по статским делам 1 октября 1803 г. в Вологодскую милицию в Избранный полк, где по окончании получил Золотую медаль». В последующие годы служил в губернии. Затем «с 1812 по 1814 находился при сенаторе Хитрове в разных поручениях по Вологодской и Вятской губерниям; в 1814–1818 — предводителем дворянства Грязовецкого уезда, награжден орденом Св. Анны 3 ст. Уволен со всех служб в 1825 году». В 1826 г. исправлял должность Вологодского губернского предводителя дворянства.