Завещание Байрона передавало Августе и её детям все его состояние (более ста тысяч фунтов); шестьдесят тысяч фунтов по контракту возвращались леди Байрон. Новый лорд, капитан Джордж Энсон Байрон, был в стесненных обстоятельствах. Аннабелла предложила отказаться в его пользу от вдовьей части, так как они с дочерью должны были получить наследство Ноэлей. Он принял её предложение, так как иначе у него не было возможности поддержать свой титул.
Августа в два года растранжирила громадное наследство. Ей пришлось платить бесчисленным кредиторам, покрывать карточные долги мужа, а также и сыновей, которые оказались достойными своего папаши. Кроме того, она была постоянным объектом угроз шантажистов. Ей угрожали опубликовать интимный дневник Каролины Лэм, содержавший признание Байрона по поводу миссис Ли. Во всех трудностях ей помогала леди Байрон, относившаяся к ней с почти невероятной снисходительностью. Все же в 1829 году Августа истощила терпение своей невестки, и они перестали встречаться.
Весь остаток своей жизни леди Байрон посвятила благотворительности. Она основала в своем доме школу на кооперативных началах, где дети без различия происхождения обучались вместе. «Касты — это позор для Англии, как и для Индостана», — говорила она. Впоследствии она занялась индустриальными и сельскохозяйственными школами. До конца оставалась великодушной и славилась своим неослабевающим воодушевлением. К концу жизни у неё была близкая дружба с одним пастором, Робертсоном, который стал её наперсником. Она рассказывала ему о Байроне то, что раньше решалась только писать для себя в дневнике: «Байрон не был скептиком… Его Бог был Богом мести… Контраст, который, как ему казалось, существовал между ним и мной, делал меня объектом его ужасной ярости… Сознавая слабость собственного характера, он, естественно, ревновал к характеру совершенно противоположному или к такому, который ему таким казался…»
«Но хоть это и покажется диким после всего, что я вам рассказывала, я все-таки повторяю, что всегда в глубине его души жило существо более высокое и более достойное… Существо, которое он всегда подавлял, но никогда не мог уничтожить… Тогда с моей стороны это могло быть иллюзией, порожденной любовью, но мое убеждение на этот счет и сейчас осталось неизменным».
«К концу его жизни чувства по отношению ко мне становились мягче. Если бы он не умер, то понял бы, что с самого начала и до конца я была его единственным преданным другом. Но этого не было дано!»
Итак, и она, как Байрон, мечтала о мирной старости.
Она писала Робертсону об Августе: «Я считала миссис Ли моим другом, любила её — люблю и сейчас. Я не могу запретить себе этого. Я еще увижусь с ней в этом мире, пока не умрем обе. Мне говорили, что это недостаток силы, нравственных принципов, — моя неспособность оторваться от существа, которое я нахожу недостойным. Возможно, что это и так, но такова моя природа. Виновата ли я?»
Они увиделись «еще раз в этом мире». В 1851 году (леди Байрон было пятьдесят девять лет, Августе шестьдесят семь). Эмили Ли, крестница леди Байрон, рассказала ей о нищете, в которую впала миссис Ли, больная, обремененная долгами. Аннабелла предложила свидание в Уайт-Харт-Отеле в Рейгэте. Миссис Ли явилась на это свидание. Леди Байрон встретила ее, вооруженная записной книжкой: «Где… Когда… Моя линия поведения…» Но Августа, как всегда, была уклончива и неопределенна; они расстались, не помирившись. Шесть месяцев спустя Августа была при смерти (она была в такой нищете, что продавала некоторые письма Байрона). Аннабелла явилась узнать о ней и дала денег: «Я написала Эмили, которая оставалась одна около этого ложа смерти, прося её прошептать от меня два добрых слова, которые уж давно не произносились… Dearest Augusta… Я узнала, что эти слова вызвали у неё давно иссякшие слезы и что она прошептала: «Радость… мое самое большое утешение…» — и просила передать еще что-то, чего нельзя было понять. Второе непонятное предсмертное поручение!»
Последние годы жизни леди Байрон были невеселы. В 1852 году она лишилась своей единственной дочери, леди Ловлес, на следующий год — своего друга, пастора Робертсона. Она стала носить прозрачный вдовий чепец на седых, отливающих серебром волосах. Внуки любили расчесывать её длинные волосы, которые доставали до пола, когда она сидела. Аннабелла умерла в 1860 году. Она не хотела, чтобы её погребли ни в Хакнолле, где лежали Байрон и его дочь, ни с её предками в Киркби, а одну — на лондонском кладбище.