Добившись отставки, Толстой окончательно поселился в деревне. Он жил то в своем имении Пустынька, под Петербургом, то — чем дальше, тем все больше в далеком от столицы Красном Роге (Черниговской губернии Мглинского уезда). В Петербург Толстой только изредка наезжал.
Бывая во дворце, он не раз пользовался единственным доступным для него средством — «говорить во что бы то ни стало правду», о котором писал Александру II. В частности, Толстой неоднократно защищал писателей от репрессий и преследований. Еще в середине 50-х годов он активно участвовал в хлопотах о возвращении из ссылки Тараса Шевченко. Летом 1862 года он вступился за И. С. Аксакова, которому было запрещено редактировать газету «День», в 1863 году — за Тургенева, привлеченного к делу о лицах, обвиняемых в сношениях с «лондонскими пропагандистами», то есть Герценом и Огаревым, а в 1864 году предпринял попытку смягчить судьбу Чернышевского. На вопрос Александра II, что делается в литературе, он ответил, что «русская литература надела траур по поводу несправедливого осуждения Чернышевского». Александр II не дал ему договорить: «Прошу тебя, Толстой, никогда не напоминать мне о Чернышевском». Произошла размолвка, и никаких результатов, на которые надеялся поэт, разговор не принес. Однако в обстановке все более сгущавшейся реакции это был акт несомненного гражданского мужества.
Несмотря на давнее — с детских лет — знакомство с поэтом, Александр II не считал его вполне своим человеком. Еще в 1858 году, когда учреждался негласный комитет по делам печати, он отверг предложение министра народного просвещения Е. П. Ковалевского включить в него писателей — Тютчева, Тургенева и др. «Что твои литераторы, ни на одного из них нельзя положиться», — с раздражением сказал он. Ковалевский, по свидетельству современника, «просил назначить хоть из придворных, но из людей, по крайней мере известных любовью к словесности: кн. Николая Орлова, графа Алексея Конст. Толстого и флигель-адъютанта Ник. Як. Ростовцева, и получил самый резкий отказ. Таким образом литература поступила под ведомство III Отделения» (письмо П. В. Долгорукова к Н. В. Путяте). Этот эпизод хорошо характеризует восприятие личности Толстого в высших сферах.
В 60-е годы он подчеркнуто держался в стороне от литературной жизни, встречаясь и переписываясь лишь с немногими писателями: Гончаровым, К. К. Павловой, Фетом, Маркевичем. В связи с обострением общественной борьбы поэт, подобно многим своим современникам — тому же Фету, Льву Толстому, все чаще противопоставлял актуальным социально-политическим вопросам и вообще истории вечные начала стихийной жизни природы. «Петухи поют так, будто они обязаны по контракту с неустойкой, — писал он Маркевичу в 1871 году…Зажглись огоньки в деревне, которую видно по ту сторону озера. Все это хорошо, это я люблю, я мог бы так прожить всю жизнь… Черт побери и Наполеона III и даже Наполеона I! Если Париж стоит обедни, то Красный Рог со своими лесами и медведями стоит всех Наполеонов… Я бы легко согласился не знать о том, что творится в нашем seculum [столетии]… Остается истинное, вечное, абсолютное, не зависящее ни от какого столетия, ни от какого веяния, ни от каких fashion [мод], — и вот этому-то я всецело отдаюсь».
Печатался Толстой преимущественно в реакционном журнале М. Н. Каткова «Русский вестник», а с конца 60-х годов — и в либеральном «Вестнике Европы» М. М. Стасюлевича, несмотря на их враждебные отношения и постоянную полемику. Но ни на один из них Толстой не смотрел как на журнал, близкий ему по своим взглядам и симпатиям.
В начале 60-х годов Толстой напечатал «драматическую поэму» «Дон Жуан» и роман «Князь Серебряный», а затем написал одну за другой три пьесы, составившие драматическую трилогию: «Смерть Иоанна Грозного», «Царь Федор Иоаннович» и «Царь Борис» (1862–1869). В 1867 году вышел сборник стихотворений Толстого, подводивший итог его больше чем двадцатилетней поэтической работе.
Во второй половине 60-х годов Толстой после большого перерыва вернулся к балладе и создал ряд превосходных образцов этого жанра; лирика занимала теперь в его творчестве гораздо меньше места, чем в 50-х годах. В конце 60-х и в 70-х годах написана и большая часть его сатир. К началу 70-х относится также замысел драмы «Посадник» (из истории древнего Новгорода). Толстой был увлечен этим замыслом, написал значительную часть драмы, но окончить ее ему не удалось.
Судя по сохранившимся сведениям, Толстой был гуманным помещиком. Но своими имениями сам поэт никогда не занимался, хозяйство велось хаотично, патриархальными методами, и его материальные дела постепенно приходили в расстройство. Особенно ощутимо стало разорение к концу 60-х годов. Толстой говорил своим близким, что принужден будет просить Александра II снова взять его на службу. Все это очень тяготило его и нередко выводило из себя.