Новая жизнь, широкая известность, но личного счастья не было. В 1840 г. удается благополучно завершить дело о разводе — Варламов остается с четырьмя детьми на руках. Матери их судьба никогда не была интересна, и она не думает заботиться о них. Но эти семейные сложности не имеют отношения к Марии Дмитриевне — она все так же далека, как восхитительный лунный свет, по выражению Павла Мочалова, на который нельзя не смотреть и к которому невозможно прикоснуться. К тому же Варламову еще нет сорока, а Марии Дмитриевне уже сорок пять, и цену возрасту она хорошо знает. Вместе с друзьями актриса советует композитору еще раз попробовать наладить спокойную семейную жизнь, которой его обделила судьба. Находится и невеста — скромная, влюбленная в варламовскую музыку семнадцатилетняя Мария Сатина.
Может быть, слишком скромная и наверняка слишком молодая. Спустя два года наступает самый страшный для Варламова разрыв с безраздельно господствовавшим в московских театрах композитором А.Н. Верстовским. Сказывается профессиональная ревность, которой до того времени удавалось избегать благодаря советам и влиянию Марии Дмитриевны, но о которой не имеет представления юная Варламова, не способная вмешиваться в дела мужа.
В течение 1842—1844 гг. Верстовский лишает Варламова почетных и доходных бенефисных концертов в Большом театре. В декабре 1844 г. Варламов не выдерживает и подает прошение об увольнении, которое незамедлительно удовлетворяется. Композитору назначается нищенский пенсион в 285 рублей годовых. И теперь уже с шестью детьми и женой он предпочитает уехать в Петербург. Поэтический роман, а вместе с ним и вдохновение Соловьиного дома были кончены.
Но Петербург по-прежнему неприступен, особенно для неудачника. Варламов не найдет должности даже в родной ему Певческой капелле — Министерство двора против его кандидатуры. Он вынужден скрываться от бесконечных кредиторов и в чужих гостиных на клочках бумаги писать романсы, которые можно за гроши тут же продавать издателям. Жизнь унизительная и безнадежная продлится, по счастью, всего три года. Варламов умрет от сердечного приступа в гостиной чужого дома, завещав жене с двумя малолетними детьми на руках искать помощи только у его нового петербургского друга композитора А.С. Даргомыжского.
А Мария Дмитриевна так и не выйдет замуж. Она будет еще долго блистать на московской сцене, переиграет множество ролей, всегда первых, всегда восторженно встречаемых москвичами, — несравненная Мария Стюарт, соблазнительная и ловкая Городничиха в «Ревизоре», великосветская дама в пьесах А.Н. Островского. Она расстанется с театром на пороге семидесяти лет и почти мгновенно канет в реку забвения, как и все актеры. Ее похороны в 1875 г. не соберут и кучки поклонников. «Забытый талант» — будет озаглавлена единственная посвященная ей заметка в газете. Это был год дебюта на сцене Александрийского театра в Петербурге замечательного русского актера-комика Константина Александровича Варламова, сына композитора и его второй жены. Мария Дмитриевна будет интересоваться судьбой Варламова-младшего, попытается поклониться праху отца. Напрасно. Могила композитора Александра Варламова на Смоленском кладбище Петербурга была смыта одним из наводнений Невы.
«Господи, за что же! Его-то, незлобливого и светлого, за что?» — из письма актрисы Львовой-Синецкой.
2002 г. — последний в истории Соловьиного дома. Отселенный и окруженный глухим забором, он долго ждал решения своей участи — полной перестройки, с перепланировкой, нахлобучиванием таких чужих Москве мансард, с новыми, конечно же, алюминиевыми рамами, лишающими здание старого рисунка, бетонными лестничными пролетами вместо дошедших до наших дней белокаменных. Пока на День Победы не был снесен. До основания. И никогда никто из исследователей будущих поколений не получит возможности заглянуть в его нераскрытые тайны, восстановить пушкинские, а где-то и екатерининских времен интерьеры, удержать ускользающие тени пушкинских знакомцев. Какими же горькими и гневными словами вспомнят они наши годы. И будут правы.
ПРАВДА МОСКОВСКОГО СОЛОВЬЯ
Иногда в музыке нравится что-то совсем неуловимое и не поддающееся критическому анализу. Я не могу без слез слышать «Соловья» Алябьева.
П. И. Чайковский, 1877