Благодаря хлопотам Толстого в 1853 году был освобожден из ссылки И. С. Тургенев, который в этой связи писал будущей жене Толстого Софье Андреевне: «Вы говорите мне о графе Толстом: это сердечный человек, который вызывает у меня огромное чувство уважения и признательности. Он едва знал меня, когда на меня свалились неприятности, и, несмотря на это, никто не засвидетельствовал мне столько сочувствия и симпатии, как он, и сегодня он, быть может, единственный человек в Петербурге, который не забыл обо мне, единственный, по крайней мере, который доказал это. Некто сказал, что признательность — тяжкая ноша, но я счастлив, что могу быть признательным Толстому, и всю свою жизнь я сохраню это чувство».
Когда наступило царствование Александра П, Алексей Константинович пытался употребить свое влияние на молодого царя, чтобы добиться проведения в России либеральных реформ. Но пределы возможностей его в этой сфере были ограниченны. Когда в 1864 году на вопрос Александра II, что делается в русской литературе, Толстой ответил, что она «надела траур по поводу несправедливого осуждения Чернышевского», государь холодно оборвал его: «Прошу тебя, Толстой, никогда не напоминать мне о Чернышевском».
Между тем служебные дела Толстого продвигались таким образом, что на место привычного отвращения пришло негодование: не поставив в известность Алексея Константиновича, царь назначает его делопроизводителем «Секретного комитета о раскольниках», на которых тогда были гонения. По своему гуманистическому складу Толстой испытывал инстинктивное отвращение к любого рода притеснениям, и вот он сам должен был принимать участие в работе комитета, задачей которого было притеснение, гонение на людей, придерживавшихся отличной от признанной государством веры. Толстой начинает опасаться, чтобы новые его занятия «не были совершенно противоположны моей совести». Он писал тогда: «Эта мысль более мучительна для меня, чем если бы мне дали службу, только неприятную и не подходящую к моей природе, как большею частью административные посты». Соглашаясь на новую должность, Толстой оставляет за собой право «уйти во что бы то ни стало, хоть напролом», если в самом деле он не сможет оставаться на этом месте честным человеком.
В период работы в комитете состояние духа Алексея Константиновича было наиболее тяжелым. Он, вообще не признававший для себя никакой службы, мечтал в то время: «Если бы, например, меня употребили на дело освобождения крестьян, я бы шел своей дорогой с чистой и ясною совестью, даже если бы пришлось идти против всех». Спустя несколько лет, уже давно не работая в комитете, Толстой в письме к Александру II по поводу неоправданного и варварского разрушения памятников старины, чинимого во многих городах России «…с благословения губернаторов и высшего духовенства», допускает явную «крамолу», обрушиваясь на духовенство и противопоставляя ему гонимых им раскольников: «Именно духовенство — отъявленный враг старины, и оно присвоило себе право разрушать то, что ему надлежит охранять, и насколько оно упорно в своем консерватизме и косно по части идей, настолько оно усердствует по части истребления памятников.
Что пощадили татары и огонь, оно берется уничтожить. Уже не раскольников ли признать более просвещенными, чем митрополита Филарета?» В этом письме со страстностью истинного патриота Алексей Константинович говорит о прискорбном явлении, когда древние памятники русской архитектуры сносились и заменялись новыми, о неверных принципах реставрации, когда старое строение не возрождалось в первоначальном виде, но совершенно становилось неузнаваемым. Со слов историка Костомарова, вернувшегося в ту пору из Новгорода и Пскова, Толстой рассказывает о том, что происходит в этих городах: «…В Новгороде затевается неразумная и противоречащая данным археологии реставрация древней каменной стены, которую она испортит. Кроме того, когда великий князь Михаил высказал намерение построить в Новгороде церковь в честь своего святого, там, вместо того чтобы просто исполнить это его желание, уже снесли древнюю церковь Св. Михаила, относившуюся к XIV веку. Церковь Св. Лазаря, относившуюся к тому же времени и нуждавшуюся только в обычном ремонте, точно так же снесли. Во Пскове в настоящее время разрушают древнюю стену, чтобы заменить ее новой в псевдостаринном вкусе. В Изборске древнюю стену всячески стараются изуродовать ненужными пристройками, Древнейшая в России Староладожская церковь, относящаяся к XI веку (!!!), была несколько лет тому назад изувечена усилиями настоятеля, распорядившегося отбить молотком фрески времен Ярослава, сына Святого Владимира, чтобы заменить их росписью, соответствующей его вкусу». Далее Толстой перечисляет то, чему он сам был свидетелем в Москве: «На моих глазах, Ваше Величество, лет шесть тому назад в Москве снесли древнюю колокольню Страстного монастыря, и она рухнула на мостовую, как поваленное дерево, так что не отломился ни один кирпич, настолько прочна была кладка, а на ее месте соорудили новую псевдорусскую колокольню. Той же участи подверглась церковь Николы Явленного на Арбате, относившаяся ко времени царствования Ивана Васильевича Грозного и построенная так прочно, что и с помощью железных ломов еле удавалось отделить кирпичи один от другого.
Наконец, на этих днях я просто не узнал в Москве прелестную маленькую церковь Трифона Напрудного, с которой связано одно из преданий об охоте Ивана Васильевича Грозного. Ее облепили отвратительными пристройками, заново отделали внутри н поручили какому-то богомазу переписать наружную фреску, изображающую Святого Трифона на коне и с соколом в руке». Алексей Константинович называет еще церковь рождества Богородицы в Путинках на Дмитровке, церковь Грузинской божией матери и Крутицкие ворота — «три здания в Москве, за которые всегда дрожу, когда еду туда».
В таких условиях, совершенно противных его склонностям, шла жизнь Алексея Константиновича. Он писал тем не менее стихи, баллады, давно уже начат был «Князь Серебряный», но — «как работать для искусства, когда слышишь со всех сторон слова: служба, чин, вицмундир, начальство и тому подобное?», а главное: «…Вся наша администрация и общий строй — явный неприятель всему, что есть художество, — начиная с поэзии и до устройства улиц». Мучают его и сомнения иного рода: «Как быть поэтом, когда совсем уверен, что вас никогда не напечатают и вследствие того никто вас никогда не будет знать?»
У Толстого есть баллада «Слепой», где убогий слепой песенник, опоздавший на княжеский пир во время охоты, поет один среди дубравы. Узнав, что он обманут, что никто его не слушал, песенник не расстраивается, поскольку он не волен над своей песнью. Поэт так же не волен над своей песнью, однако для того, чтобы песни, рождающиеся в душе, могли свободно излиться, нужно свободное время. Служба, частые обязательные присутствия на различных дворцовых церемониях да те же обязательные балы — все это съедало время. Алексей Константинович, как всякий творческий человек, нуждался в свободной времени, нуждался в поддержке и одобрении. Его слепой песенник-гусляр ведь начал свою песню, полагая, что его слушает князь с окружением. Это уже потом, «по мере, как пелась» песня, он перестал думать о слушателях, он уже стал «рабом ему чуждого духа», но первоначальный импульс вдохновения обусловлен все же атмосферой внимания, сосредоточенного ожидания и желанием доставить удовольствие слушателям. Поэтому-то и сетует Толстой, поэтому и убежден он в том, что «служба и искусство несовместимы». Тут переплетение различных обстоятельств — и неподходящая обстановка, и отсутствие реального времени для творчества. «Я, наконец, хочу, чтобы на меня обратили внимание, я хочу приобрести право гражданства», — пишет он в 1856 году.
Конечно, в редких случаях имя художнику может создать од-но-единственное произведение. Но Толстой понимает, что и количество произведений, и частота публикаций играют существенную роль. Впрочем, говоря о значении количества написанного, он замечает, что не мог бы удовлетвориться «именем вроде Александра Дюма».