Дети Строгановой и Римского-Корсакова считались незаконнорождёнными и носили фамилию Ладомирские, поэтому они получили Братцево не по завещанию, а по дарственной, оформленной их отцом незадолго до смерти.
Сын их Василий Николаевич Ладомирский женился на княжне Софье Фёдоровне Гагариной. В Братцево часто бывала и даже жила её мать, Прасковья Юрьевна Гагарина (урождённая Трубецкая) — женщина харизматичная и яркая. Считается, что это о ней написал Грибоедов, лишь изменив имя:
Но Грибоедов зря посмеивался: жизнь этой женщины была полна удивительных перипетий и испытаний, которые она с честью выдерживала. Первым её мужем был генерал-майор Фёдор Сергеевич Гагарин. Во время русско-турецкой войны она последовала за супругом в Яссы, где скоро вызвала скандал, отвесив пощёчину светлейшему князю Потёмкину за некую допущенную им вольность. К чести князя, надо сказать, что он никак не отомстил ни вспыльчивой даме, ни её перепуганному мужу. К сожалению, вскоре Гагарина овдовела: её муж был убит во время польского восстания весной 1794 года, а саму княгиню заключили в тюрьму, где она находилась полгода — до взятия Варшавы Суворовым. Это было крайне жестоко и бесчеловечно, ведь молодая женщина была беременна. Именно там, в тюрьме, она и родила дочь Софью — будущую владелицу Братцево.
После гибели мужа Прасковья Юрьевна долгое время вдовствовала, по выражению Ф. Ф. Вигеля, «долго отвергала всякие утешения, в серьге носила землю с могилы мужа своего; но вместе с твёрдостию имела необычайные, можно сказать, невиданные живость и весёлость характера; раз предавшись удовольствиям света, она не переставала им следовать».
Уже будучи за сорок, княгиня снова поразила светское общество: она поднялась в воздух на воздушном шаре, став таким образом одной из первых русских воздухоплавательниц. Именно одной из первых, так как газеты того времени упоминают фамилию и другой женщины, совершившей этот опасный трюк.
В 1803 году в Россию прибыл также один из первых аэронавтов Андре-Жак Гарнерен. За рубежом полёты на воздушных шарах проходили уже довольно давно, а в России они были запрещены ещё Екатериной Второй, посчитавшей «забаву» опасной. Её внук Александр Первый снял запрет и разрешил Гарнерену подниматься на аэростате перед петербургской и московской публикой. Первый полёт состоялся в Петербурге в июне 1803 года. Месяц спустя к изобретателю присоединился русский генерал — шестидесятилетний князь Львов. Весной следующего года в гондолу отважилась войти женщина — некая госпожа Тушенинова. А уже в следующем 1805-м месье Гарнерен несколько раз поднимался в воздух в Москве в Нескучном саду и брал с собой желающих из публики.
Источники упрямо твердят, что Гагарина поднялась в воздух в 1803 году, хотя возможна тут и ошибка на два года. Пролетев над Москвой, её шар опустился в усадьбе Остафьево, в восьми километрах к югу от Москвы, принадлежавшей Вяземским. За приземлением с восторгом наблюдал одиннадцатилетний мальчик — будущий поэт Пётр Андреевич Вяземский. Спустя много лет он женился на второй дочери отважной княгини Вере и долго хранил у себя в имении тот воздушный шар, считая приземление Гагариной самым ярким событием в истории Остафьево.
Уже в пожилом возрасте Гагарина второй раз вышла замуж, как все считали, по расчёту, за отставного кавалергардского полковника Петра Юрьевича Кологривова, характеризовавшегося современниками как человек крайне недалекий. Однако, будучи лишён светской приятности, он умело вёл дела и сумел поправить пошатнувшееся благосостояние Гагариных. Именно ему передала Братцево его овдовевшая падчерица, и здесь доживала свой век её мать — отчаянная Прасковья Юрьевна.
В шестидесятых годах XIX века в Братцево на даче жил Шишкин, здесь им была написана картина «Полдень. Окрестности Москвы», купленная Третьяковым для галереи.
Последним владельцем Братцева был директор Исторического музея князь Николай Сергеевич Щербатов. При нём были построены водонапорная башня, сохранившаяся до сих пор, каретно-ремонтные сараи (ныне гаражи), устроено телефонное сообщение с Москвой, открыта начальная церковно-приходская школа (1888).