Очень скоро стало очевидным, что Ростопчина не имела необходимых качеств для трудной роли хозяйки салона. Она не умела объединять литературные партии. В Москве происходили баталии западников и славянофилов. Западники казались ей противниками национальных устоев; о славянофилах она писала в письме А. В. Дружинину: «Они сочинили нам какую-то мнимую древнюю Русь, к которой они хотят возвратить нас, несмотря на ход времени и просвещенья». В конце концов, Ростопчина была вынуждена с горечью признать, что она — человек прошедшей эпохи:
К середине 1850-х годов поэтическая продукция Ростопчиной действительно казалась уже вчерашним днем. Многословие раздражало, «пушкинская гладкость» была старомодной. Вот как брат поэтессы С. П. Сушков описывает ее творческий процесс: «Нередко случалось ей складывать в уме длинные стихи в несколько страниц, которые позднее, на досуге, она записывала быстро и без остановки, точно как бы под диктовку. Я бывал иногда свидетелем, во время наших поездок с нею вдвоем между Москвою и селом Вороновым, где Ростопчина всегда проводила лето, как она, прислонясь головою в угол кареты и устремив неподвижный взор в пространство, начинала сочинять стихи, а вечером или же на другой день прямо записывала их». Языков предпочитал Ростопчиной ее соперницу Каролину Павлову, у которой «стих не бабий». Из ростопчинских же стихотворений этого периода были популярны «Русские женщины» (1855) со строками:
Это двустишие стало крылатым.
Последним трудом поэтессы стал прозаический перевод на французский язык послания Пушкина «В Сибирь», который она сделала по просьбе Александра Дюма (это стихотворение не было напечатано и еще долго не могло быть напечатано в России).
После смерти Ростопчиной в 1858 году Вороново было продано. Поменяв ряд владельцев, усадьба в конце XIX века перешла к Шереметевым. Последний раз упоминание Воронова мы находим в стихах Полонского. По приглашению нового владельца П. С. Шереметева старый поэт приезжал сюда в 1893 году. Он одним из немногих остался верен памяти уже основательно забытой поэтессы и надеялся, что придет время, когда ее произведения вновь зазвучат.
Полонский владел не только пером, но и кистью. Его последняя живописная работа — этюд центральной аллеи парка в Воронове.
Новые хозяева значительно перестраивают усадьбу. Главный дом стал напоминать своим внешним видом какой-нибудь из московских вокзалов — Павелецкий или Рижский. Но и в таком виде до наших дней Вороново не дошло. В 1949 году главный дом опять был перестроен, и, откровенно говоря, к лучшему: он вновь стал похож на характерную усадебную постройку 20–30-х годов XIX века.