Начальник края указывал на то, что эти лица, размещаемые Министерством внутренних дел по внутренним нашим губерниям, лишь разносят с собою зло и подготовляют в будущем неурядицы - и признавал необходимым сосредоточить их в какой-нибудь отдаленной местности, «где им могли бы быть даны все средства к жизни, кроме способов вредить России». - Он присовокуплял, что «прежде всего должно иметь в виду Россию и что нельзя останавливаться перед такою мерою, употребляемою для политических преступников во многих государствах, славящихся своею гуманностью и либерализмом».
Вопрос этот остался неразрешенным, и впоследствии, когда летом 1865 г. всю Россию охватило пламя пожаров и общественное мнение ясно указывало на источник зла - Михаил Николаевич, живя уже тогда на покое, составил по поводу пожаров статью и включил в нее выдержки из разных своих представлений, заключающие в себе печальные предсказания, начинавшие уже сбываться...
Приближалась Святая неделя, а вместе с тем и наш отъезд в Петербург. Он назначен был в конце недели. Все были убеждены, что генерал Муравьев уже не возвратится в Вильну. К пасхальной заутрени собралось в ярко освещенную дворцовую церковь множество лиц. Все были в напряженном состоянии, ожидая, что начальник края получит в этот день графское достоинство и что это будет сигналом к его увольнению.
По окончании богослужения все присутствовавшие были приглашены в большую гостиную, где обыкновенно происходили приемы и в которой на этот раз стоял огромный стол, убранный всякими яствами. Едва собрались в эту комнату и бокалы наполнились вином, как генерал Крыжановский провозгласил тост за начальника края, встреченный единодушным «ура». Затем следовали и другие возглашения, но никаких известий из Петербурга все-таки получено не было.
В субботу на Святой неделе начальник края выехал в Петербург.
Перед отъездом были сделаны следующие главные распоряжения: генералу Крыжановскому поручалось вступить в командование войсками округа; ему же предоставлены: конфирмация военно-судных и следственных дел и управление Августовскою губерниею. В случаях важных и не терпящих отлагательства - он мог принимать чрезвычайные меры, донося о том по телеграфу; ему же поручалось доносить о всех происшествиях, заслуживающих внимания, и вообще представлять собою лицо начальника края; но все дела общей канцелярии с объяснительными записками и заготовленными ответами или предписаниями должны были отсылаться ежедневно с жандармом в Петербург для доклада генерал-губернатору. Таким образом Михаил Николаевич должен был из Петербурга управлять краем, что при удобстве сообщений и телеграфе не представляло особых затруднений. С генерал-губернатором отправились в Петербург следующие лица: полковник Черевин, генерал Чевати и я - собственно для ведения дел; адъютант Павлов и ординарец Бибиков - для дежурств и приема посетителей; затем в виде свиты: камергер Булычов, действительный статский советник Брянчанинов, жандармский капитан Медведев, доктор Фавиш, при том два писца и два лейб-казака из конвоя. В день отъезда нашего, 25-го апреля 1864 г., высшие лица собрались во дворец, и начальник края передал им свои инструкции. Во всем этом было нечто величественное - многие были потрясены до глубины души, расставаясь с начальником края и полагая, что его более уже не увидят в стенах Вильны. Многие, преданные делу, а не лицу, утешали себя тем, что если Михаил Николаевич и оставит управление краем, то будет назначен председателем Западного комитета, который будет руководить и направлять всю администрацию 9-ти западных губерний; но Западный комитет, возникший с началом смут в Западном крае, прекратил свое существование как раз незадолго перед тем, и дела по западным губерниям пошли по прежнему в Комитет министров - что совершенно рационально - и лишь уцелел до настоящего времени (1867 г.) комитет по делам Царства Польского...
Генерал-губернатор отправился с пассажирским поездом, отходящим в 4 часа дня.
Огромное число служащих и дворян собралось на станции железной дороги. Михаил Николаевич приезжал всегда заблаговременно и потому тут происходил целый прием; до последней минуты он отдавал приказания и видимо был тронут общим к нему сочувствием; все говорили, что ждут его поскорее назад и смело можно сказать, что для большинства это было искренно.