Ничто, быть может, не было столь постоянною и столь заветною мечтою Толстого, как собственная семья — брак, дети. Его дневники и интимные письма переполнены этим вопросом. Но ему трудно было найти себе подходящую подругу жизни. К девушкам, с которыми встречался, он предъявлял весьма высокие требования по части ума, простоты, искренности, красоты. Вместе с тем (и прежде всего) его жена должна быть здоровая и сильная мать его детей, способная сама кормить и воспитывать. На все обязана она смотреть глазами мужа, во всем быть его помощницей. Обладая светским лоском, она обязана забыть свет, поселиться с мужем в деревне и целиком посвятить себя семье.
При его исключительной проницательности только сильная страсть могла заставить его поверить, что он встретил, наконец, олицетворение такого идеала.
С годами он сознательно шел на уступки. Такой именно смысл имели, например, его отношения к Валерии Арсеньевой. Девушка была сиротою и вместе с младшей сестрою жила под надзором преданной гувернантки в поместье Судакове, в пяти верстах от Ясной Поляны. Семья Толстых хорошо знала родителей Валерии Арсеньевой. Девочки бывали в Ясной Поляне. В 1856 году Лев Николаевич часто посещал Судаково. У гувернантки (M-lle Vergani) создался план женить его на Валерии. Девушка, видимо, шла этому навстречу. Она, правда, весьма склонна была к нарядам, светским развлечениям и мечтала о флигель-адъютанте, но и граф Толстой казался ей все-таки подходящей партией. В конце октября Лев Николаевич не удержался и показал Валерии страничку дневника, где было написано: «я ее люблю». Конечно, с этого момента его считали женихом. Но Толстой колебался, сомневался, думал, то увлекался, то охладевал и, наконец, решил испытать свое чувство двухмесячной разлукой. По выражению своей тетушки, которая тоже жаждала этого брака, он поехал неожиданно «вместо церкви, в Петербург». Последовала длинная переписка. Издали Валерия Арсеньева менее нравилась Толстому. Он признался себе, что не столько любил сам, сколько старался возбудить любовь к себе. Наступило охлаждение, о котором Лев Николаевич прямо и решительно написал, наконец, в Судаково. Близкие Валерии Арсеньевой и даже тетушка Толстого осыпали его упреками. Но он слишком долго испытывал себя и, в конце концов, не мог поступить иначе. К счастью для него и для самой барышни, она впоследствии вышла замуж и имела четырех детей.
Со своими стремлениями к браку Толстой пережил большие соблазны в Швейцарии весною и летом 1857 года. Здесь он встретился и впервые близко сошелся со своими дальними родственницами — графинями Елизаветой и Александрой Толстыми. Обе служили при дворе великой княгини Марии Александровны. Александра Толстая обладала приятной наружностью и великолепным голосом, над которым много работала. Прямота, искренность, горячее сердце, постоянное стремление к нравственному самоанализу и совершенствованию делали духовный ее облик чрезвычайно привлекательным. При весьма тонком, изящном уме она была очень религиозна — в строго православном духе. Придворная, светская сдержанность не мешала ей ценить по достоинству буйного племянника, постоянно склонного ко всевозможным неожиданностям. В завязавшейся между ними нежной дружбе Толстой немного кокетничал парадоксальным умом и скептицизмом в религиозной области. Милую «бабушку» он искренно считал на целую голову выше всех женщин, с которыми когда-либо встречался. Они разошлись впоследствии на почве религиозных несогласий. Но даже в год своей смерти Лев Николаевич, перечитывая долголетнюю переписку с графиней Толстой, говорил окружающим: «как в темном коридоре бывает свет из-под какой-нибудь двери, так, когда я оглядываюсь на свою долгую, темную жизнь, воспоминание об Alexandrine — всегда светлая полоса». В поэтической обстановке швейцарской весны, на берегу Женевского озера произошло это сближение и, казалось, оно должно было пойти дальше простой дружбы. Но… графиня была старше Толстого на 11 лет; на ее милом, одушевленном лице он подметил первые морщинки… и не раз в дневнике, восторгаясь своей родственницей, он с грустью восклицал: «Если бы она была на десять лет моложе!..» Они остались только друзьями.
В 1859 году, ухаживая в московском свете за несколькими барышнями, он решился, наконец, сделать одной из них (княжне Львовой) предложение, но получил отказ. Его жена уверяла впоследствии, что физически он был в те годы очень непривлекателен, и «лицо у него было страстное, беспокойное и задорное». Другие девушки, за которыми он ухаживал, находили, что общение с ним «интересно, но тяжело». Очевидно, его исключительно сложная духовная организация и редкая проницательность постоянно держали собеседниц в напряженном состоянии…