Однако на Софью Андреевну его негодование и раздражение не распространялись. Описывая тому же Маркевичу свой разговор с женой в связи с тем, что он решил отстранить ее родственника от управления хозяйством, он передает их диалог с мягким юмором: «Я отстранил Б. от управления, позволив ему жить здесь до лета. Но его жена и сын больны, и Эгерия сокрушается и говорит: «Никто нас не гонит, а мы их гоним». На что я ей отвечаю: «Если мы позволим им остаться, то вскоре они нас выгонят!» На что она мне говорит: «Но мы же терпели их до сих пор!..» На что я ей отвечаю: «Вот именно поэтому настало время, когда больше терпеть нельзя!» На что она мне говорит: «Но они находятся в очень жалком положении!» На что я ей отвечаю: «А мы — в еще худшем!» На что она мне говорит: «Но это наша ошибка!» На что я ей отвечаю: «Это бесспорно!» Судя по всему, Софья Андреевна была абсолютно непрактична и не представляла себе, что они находятся на грани разорения. Алексей Константинович также мало разбирался в хозяйстве, однако с ужасом видел, как тает его состояние, и опасался больше всего, что ему придется вернуться на службу уже ради хлеба насущного. Когда перед ним встает эта мрачная перспектива, тон его письма резко меняется: «И когда я подумаю о том, что я вернусь в Петербург, чтобы опять заниматься тем же самым и этому уже не будет конца, мне становится вовсе не забавно, вовсе, вовсе…»
В мае 1870 года Толстой составил завещание, по которому его авторские права переходили к Софье Андреевне без каких-либо оговорок, а недвижимость, также поступавшая в ее распоряжение, после ее смерти должна была перейти к двоюродному брату Толстого Н. Жемчужникову. В биографической литературе о Толстом, в некоторых мемуарах проскальзывают намеки на то, что в последние годы отношения между Алексеем Константиновичем и Софьей Андреевной осложнились, в частности, из-за того, что ее родня разоряла его. Е. Матвеева, кроме того, пишет, что у нее сложилось впечатление, что Софья Андреевна «держала себя с какой-то напускной холодностью и всех отталкивала», любезность ее казалась Матвеевой неискренней, и вообще ей казалось, что Софья Андреевна «как будто разыгрывала какую-то роль». Матвеева, как и некоторые другие очевидцы, подозревала, что между супругами происходил какой-то внутренний разлад и что только видимость прежних хороших отношений поддерживалась в то время.
Когда-то, только узнав Софью Андреевну, Толстой писал: «Рано познала ты горе, обман и людское злословье». Тургенев в то же примерно время писал ей: «Про Вас мне точно сказали много зла». И неудивительно: молодая женщина, о которой известно, что она недавно пережила любовную драму, из-за чего погиб ее брат, вышедшая замуж и почти тут же разъехавшаяся с мужем; умная, талантливая, обладающая необъяснимой притягательностью, — великолепная мишень для злословия. Стоит ли удивляться, что «людское злословье» преследовало ее и дальше? По-настоящему знал ее лишь Алексей Константинович, он и любил ее не слепой любовью. «Многое больно мне было, во многом тебя упрекнул я…» — писал он в начале их чувства, а в черновом варианте и такая строка: «Много еще отгадал я, чего ты и мне не сказала». Наверное, она не была безгрешной, но Толстой ценил ее отношение к собственным ее ошибкам, уважал ее никогда не утихавшую боль и постоянное чувство вины. Посторонним же была известна лишь внешняя сторона. Как это часто случается, события ее жизни по большей части были истолкованы в невыгодном для нее свете.
За два года до смерти Алексей Константинович писал ей: «Во мне все то же чувство, как двадцать лет тому назад, когда мы расставались, — совершенно то же». Это ведь не для посторонних писано. Но вот и мнение постороннего. Итальянский ученый А. де Губернатис, переводивший произведения Толстого на итальянский язык и выступавший со статьей о нем, близко знал чету Толстых и писал о производимом ими на него впечатлении: «Графиня нисколько не претендует на свое превосходство, но ее изумительное спокойствие, ее безмятежность невольно внушают это чувство. Несомненно, эта великолепная пара не похожа ни на какую другую; они представляют друг для друга как бы две открытые книги, где каждый в любой момент может прочесть все, что происходит у другого в мыслях».
Не следует забывать, что в эти годы Алексей Константинович был уже очень болен, да и Софья Андреевна страдала болезнью глаз и мучительною бессонницей. Трудно быть веселыми и довольными в таком положении, трудно порой сдержать раздражение.
Собственно, Е. Матвеева, мемуаристка вполне достоверная, не отрицает, что Софья Андреевна окружала очень внимательным уходом больного мужа, а когда она встретила Софью Андреевну спустя десять лет, одну, то вообще переменила о ней свое первоначальное мнение, найдя ее вполне простой и сердечной.
Свидетельства Жемчужниковых пристрастны, потому что толстовские имения согласно завещанию должны были достаться им после смерти Софьи Андреевны, а она была так же бесхозяйственна, как и ее муж. Жемчужниковым же, конечно, небезразлично было, в каком состоянии достанутся им владения. Отсюда и заявление Н. Жемчужникова: «Пожизненное ее владение много причинило и еще причинит неудовольствии в моей жизни… Охранять нечего, когда все разграблено». Этими же мотивами, видимо, объясняется фраза в воспоминаниях Л. Жемчужникова, которой он солидаризуется (спустя много лет) с обвинениями в адрес Софьи Андреевны со стороны матери Алексея Константиновича («Чутко материнское сердце!»), фразы, как бы показывающей, что и он сам в свое время ошибся в Софье Андреевне.
О том, как в глубине своей души Софья Андреевна относилась к Толстому, судить трудно — письма ее к нему неизвестны. Но он писал: «Мне кажется, что я у тебя в сердце, как дома…» В его собственном отношении к жене преобладающим чувством была жалость. Судя по его стихам, ей вечно сопутствовали «тоска», «неведомые муки», «сомнения и заботы», «робость». Чувство вины, с юности завладевшее ею, не утихало с годами:
После смерти Алексея Константиновича Софья Андреевна жила в основном в имении Пустынька под Петербургом, в Петербурге, выезжала за границу. Встретивший ее в Париже Тургенев, пишет Анненкову: «Совсем, батюшка, заела ее добродетель: и теперь только что и осталось, что глядит мягко и говорит бескостно».