Мысль оставить военную службу приходила Толстому не раз еще на Кавказе и в Севастополе. Прибыв в Петербург, он окончательно решил для себя этот вопрос. Но до официального заключения мира нельзя было получить отставки. Оставаясь прикомандированным к одному из столичных артиллерийских учреждений, Лев Николаевич выхлопотал себе одиннадцатимесячный отпуск, который проводил в Москве, Петербурге и деревне. В конце 1856 года он снял, наконец, мундир и вскоре уехал за границу. В Париже и Швейцарии он довольно бурно провел около шести месяцев.
Ближайшие пять лет жизни Толстого полны кипучею и по-прежнему самой разнообразною деятельностью. Правда, блестящие литературные успехи наметили главный путь его жизни. Но «размашистая натура» не могла довольствоваться ролью писателя повестей и романов. Толстой жаждал и искал более полной жизни. Между прочим деревня и сельское хозяйство снова потянули его к себе. Но в Ясной Поляне его встречало рабство, с которым он не мог примириться. Не по отвлеченным гуманитарным соображениям, которыми полны были либералы того времени… нет! модные идеи не имели над ним власти. Но он пробовал заботиться о благосостоянии своих «подданных», как называл крестьян, и потерпел горестные неудачи: даже доверия крестьян, взаимного понимания, общего языка не удалось добиться. Приходилось или мириться с нищетою и убожеством деревни, или снять с себя ответственность перед своей совестью за судьбы «подданных». К тому же вести хозяйство старыми методами в переходное время, когда крепостные нетерпеливо ждали свободы, оказывалось чрезвычайно трудным. Лев Николаевич не верил в мероприятия правительства. Он задумал сам, не откладывая дела, освободить своих крестьян с землей, но по возможности безобидно и для собственных имущественных интересов. После энергичных хлопот в правительственных сферах Петербурга, ему удалось найти приемлемую для казны комбинацию. Но все усилия разбились об упорное несогласие крестьян, которые мечтали к коронации Александра II получить от царя всю помещичью землю даром. Эта неудача охладила пыл Толстого к деревне, но он продолжал временами увлекаться сельским хозяйством, которое, в сущности, знал очень плохо. Его старший брат добродушно иронизировал: «Понравилось Левочке, как работник Юфан растопыривает руки при пахоте. И вот Юфан для него эмблема сельской силы, вроде Микулы Селяниновича. Он сам, широко расставляя локти, берется за соху и юфанствует». С сельскими работами Толстой всегда связывал много поэтических представлений. Но, бывало, в самый разгар увлечения хозяйством, он вдруг испытывал почти неодолимое отвращение к нему, писал в дневнике: «Хозяйство всею своей вонючей тяжестью навалилось на меня» и бежал от него в город — к литературе, светским развлечениям, занятиям музыкой.
Музыку любил он страстно и упорно добивался в юные годы солидных успехов в этой области. Он не только много работал на фортепьяно, но изучал теорию, писал ноты, даже пробовал композировать. Эти усилия не сделали из него настоящего музыканта, но музыка сохранила над ним власть навсегда.
Увлечения его поражали всех своей неожиданностью. Так однажды, занявшись лесными посадками в своем имении, он вдруг решил, что в широком лесонасаждении — счастливая будущность России. Он разработал целый план лесонасаждений и бросился с ним в Петербург хлопотать в министерствах о немедленном проведении своих идей в государственных масштабах. Миссия эта, конечно, успеха не имела. Но когда Тургенев в разгаре спора добивался как-то узнать: в чем же, наконец, видит Толстой свою настоящую специальность, — тот отвечал категорически и с полною уверенностью: «Я — лесовод». Рассказывая об этом своим друзьям, Тургенев писал: «Боюсь, как бы он этими прыжками не вывихнул хребта своему таланту».
В 1857 году за границей, читая деревенские рассказы Бертольда Ауэрбаха, Толстой вдруг остановился на мысли отдаться школьному делу в деревне. В Ясной Поляне была небольшая школа, основанная Львом Николаевичем еще в конце сороковых годов. Но учил в ней старый крепостной человек, которого постоянно приходилось удерживать от желания посечь детей для их же пользы. Молодой Толстой, когда бывал в деревне, вносил в школу эту много ласки, жизни и шумного веселья: он любил детей и охотно возился с ними. Но при частых отлучках Льва Николаевича школа хирела на руках старого «педагога».
В июле 1857 года Толстой записал в дневнике: «Главное: сильно, явно пришло мне в голову — завести у себя школу для всего околотка и целая деятельность в этом роде». Только через два года (осенью 1859 года) ему удалось вплотную подойти к осуществлению этого плана. Как во всех своих начинаниях, он страстно, всем существом ушел в школьное дело. Три года жизни почти целиком отдал он крестьянским детям. Менее всего походила эта работа на размеренную, правильно поставленную педагогическую деятельность. Толстой сам писал, что «страстно влюблен» в свою школу. И также страстно были влюблены, под его влиянием, все те молодые люди, которых он привлек к делу. Конечно, он начал с того, что отказался от всякой традиции в этой области, отверг всякие определенные методы обучения. Он должен был сам постигнуть душу крестьянского ребенка и, устраняя всякую дисциплину и всякое наказание, дать самим ученикам возможность научить своего учителя педагогии. Школа была вольная, каждый учился чему, как и сколько хотел. Учитель считал своей обязанностью только облегчать детские искания, строго индивидуализируя свои подходы к ребенку и любовно нащупывая наилучшие для каждого данного случая методы помощи. Успехи этих вольных толстовских школ — без принуждения, без наказания, без программы и без правил — были поразительны. Дети учились целый день, и их почти невозможно было выгнать из школы.