В начале 1840 г. приехала в Москву свояченица моя Лидия [Николаевна Левашова] и привезла с собою графиню А. С. Толстую. Они поместились у нас в одной из комнат мезонина. Таким образом, в нашем маленьком флигеле собралось много живущих, и мы садились за обед не менее 8 человек, в том числе шурин мой Валерий, живший в одном из флигелей дома Левашовых. Он был двумя годами моложе моей жены, которая была с ним дружнее, чем с другими братьями. Я также его любил более, чем всех других членов семейства моей жены, и, несмотря на то что ни от кого мы не испытали стольких неудовольствий, наша к нему привязанность осталась и до сего времени (1873 г.) неизменной. Так бывают необъяснимые симпатии к лицам, которым прощаются все причиняемые ими неудовольствия, тогда как другим лицам ничего не прощается. Валерий очень добрый малый, но столь же слабого характера, как и его отец; он всегда находился под чьим-либо влиянием; сверх того, по врожденной скупости и постоянному влечению к обогащению он и сам, без постороннего влияния, мог делать неприятности тем, кого он считал лишающими его достояния, которое, по мнению его, должно было ему принадлежать. Итак, недовольный ли выделом значительной части имения жене моей или подстрекаемый кем-либо, в особенности, вероятно, не любившим меня Н. X. Кечером, с которым он часто видался, Валерий с самого возвращения нашего в Москву делал нам разные мелкие неудовольствия и намекал, что, получив такое значительное от его отца состояние, мы могли бы жить и не в его доме. Это и заставило нас переехать в 1840 г. в нанятую нами квартиру в доме Андреева, у Красных ворот.
Вскоре по приезде моей свояченицы с Толстою мать моя и брат Николай уехали, первая в с. Колодезское к своей дочери Викулиной, с которой постоянно жила, а последний в Курск, где был расположен штаб драгунского корпуса, в который он был назначен по переводе в Генеральный штаб.
А. С. Толстая немедля занялась кокетничаньем с шурином моим Валерием, очень пригожим молодым человеком, а так как она ничего не делала вполовину, то кокетничанье это доходило до неприличия; она сумела совершенно влюбить в себя шурина моего, и эта любовь с его стороны продолжалась довольно долго. Вместе с тем, надеясь на привязанность к себе моей жены и свояченицы, она начала распоряжаться в доме нашем как хозяйка и требовала от моей жены, чтобы она с нею и с свояченицею выезжала каждый вторник в маскарады благородного собрания, а по наступлении Великого поста в концерты; сверх того, она любила сплетничать, при чем, конечно, доставалось и мне.
Жена моя имела способность увлекаться в привязанности к своим друзьям и приятельницам, и ни одна из них не была так ловка, как Толстая, в уменье привязать к себе. Но вместе с тем жена моя была настолько умна, что не могла не видеть неприличного кокетничанья Толстой с ее братом Валерием; сверх того, она была враг всяких сплетен и не любила, чтобы непрошеные лица распоряжались в ее доме, а в особенности ею. Толстая считала непременной обязанностью моей жены сопровождать ее и свояченицу в благородное собрание; жена же моя, вообще не любившая выездов, исполняла это неохотно, из чего выходили между ними раздоры. Поведение же Толстой с Валерием Левашовым сильно огорчало жену мою, и она высказала им свое мнение по этому предмету. Все это было причиной начала холодных отношений между женой моей и Толстою и подало повод Валерию делать нам новые неудовольствия, а мы и прежде уже довольно от него натерпелись.