С такой же заботливостью отнесся М. Н. Муравьев к возобновлению другой Виленской церкви — Святой Параскевы, или Пятницкой, судьба которой вполне напоминает судьбу Пречистенскаго собора. Основанная в XIV в., она сначала была придворной церковью, потом попала в руки униатов, несколько раз подвергалась пожарам и к 1863 г. представляла развалины, которые служили местом склада нечистот. Между прочим, в этой церкви по преданию Петр Великий слушал литургию и совершал благодарственное молебствие по случаю одержания победы над шведами; здесь же Петр крестил Аннибала, деда поэта Пушкина. Возобновление Пятницкой церкви закончено было в 1865 г.
Третья древняя виленская церковь в честь перенесения мощей Святого Николая Чуцотворца была возобновлена при следующих обстоятельствах. В конце 1863 г. русское население Вильны предположило, в благодарность графу М. Н. Муравьеву за умиротворение края и водворение в нем русских начал, соорудить храм во имя св. Михаила архангела, но Муравьев отклонил это и выразил желание, чтобы жертвуемые на сооружение храма суммы были обращены на восстановление и обновление (с. 48) церкви Святого Николая. Открытая затем подписка доставила сбор в 82 431 руб., но при этом жертвователи пожелали, одновременно с реставрированием церкви, устроить при ней часовню во имя Архистратига Михаила. После расчистки места и сломки выкупленных домов, заслонявших церковь, древнейшая русская святыня восстановлена по проекту известного архитектора А. И. Резанова и освящена в 1865 г. Тому же зодчему принадлежит и проект при церкви часовни, которая была освящена 8 ноября 1869 г.
Кроме восстановления древних виленских святынь, граф М. Н. Муравьев устроил еще новый иконостас в Николаевском кафедральном соборе, на что исходатайствовал 80 тысяч руб., а потом переделал и наружный вид этого храма. «Много памятников, живо возглашающих его имя, оставил граф Муравьев в Вильне и по всему Северо-Западному краю», сказал Виленский архиепископ Иероним при освящении закладки памятника графу Муравьеву в Вильне: «Пойдем в кафедральный собор, кто пересоздал этот храм? — граф Муравьев; посетим Пречистенский собор и храмы Пятницкий и Николаевский, кто воссоздал их? — граф Муравьев; зайдем в Свято-Духов и Троицкий монастыри, какие и от кого у них средства к существованию? — от графа Муравьева; кому обязаны своим вполне приличным помещением рассадники духовнаго просвещения — семинария, духовные мужское и женское училища и все учебные заведения Министерства народного образования? — ему же, графу Муравьеву; кто положил начала обители женской и дал средства к ея существованию? — он же, граф Муравьев. Вне Вильны, в пределах епархии Литовской, сколько есть живых памятников — сельских церквей, возобновленных и устроенных графом Муравьевым».
К числу таких памятников, оставленных графом Муравьеым, относятся еще две виленския часовни — Александровская и Георгиевская. Первая из них — Александровская, находится на Георгиевской площади в Вильне. Она сооружена в 1865 г. на добровольные пожертвования городских обществ Северо-Западнаго края в воспоминание доблестных подвигов русских воинов и для поминовения тех из них, которые пали на поле брани, защищая права России и законного правительства против мятежа и крамолы. Часовня представляет собою выдающееся архитектурное произведение русско-византийскаго стиля (с. 49).
Вторая часовня — Георгиевская находится на виленском православном кладбище. При погребении русских воинов, павших в окрестностях Вильны в битвах с польскими мятежниками, возникла мысль увековечить память погибших устройством на их могилах часовни-памятника. На суммы, пожертвованные Государыней Императрицей Марией Александровной и ея Августейшими детьми, а также собранные по подписке и была устроена Георгиевская часовня. Подобно Александровской, и эта часовня представляет вполне художественное произведение византийского стиля. Она поставлена на гранитном пьедестале; на трех наружных сторонах ея, среди колонн, вделаны большие мраморные доски, на которых увековечены имена павших и здесь погребенных воинов. Внутри часовни помещена икона св. Георгия, писанная академиком Тихобразовым. Георгиевская часовня была освящена 25 августа 1865 г.