Ежегодно вся земля с могильной насыпи над гробом усопшей по горсточке разносилась посетителями; ежегодно приходилось делать новую насыпь, и ежегодно насыпь снова разбиралась посетителями. Пришлось положить сверху могильной насыпи каменную плиту; но посетители разбили плиту на мелкие кусочки и разнесли по домам; положили новую плиту, и с этой плитой случилось то же.
Но, разбирая землю и ломая плиты, посетители клали на могилку свои посильные денежные пожертвования, которыми вначале пользовались нищие. Затем могилку Ксении обнесли оградой, к которой прикрепили кружку для сбора пожертвований на сооружение над могилой часовни. И пожертвования не заставили долго ждать себя.
На собранные таким образом деньги при содействии некоторых почитателей рабы Божией Ксении над ее могилой была сооружена небольшая, из цокольного камня, часовня с двумя окошечками по бокам, с дубовым иконостасом в восточной стороне и с железной дверью — с западной. Над дверью с наружной стороны сделали надпись: «Раба Божия Ксения». Могильную насыпь над самой могилкой также обделали цоколем, а сверху положили плиту со следующею, неизвестно кем составленною, надписью: «Во имя Отца и Сына и Святаго Духа. На сем месте положено тело рабы Божией Ксении Григорьевны, жены придворного певчего, в ранге полковника, Андрея Федоровича. Осталась после мужа 26 лет, странствовала 45 лет, а всего жития 71 год; звалась именем Андрей Федорович. Кто меня знал, да помянет мою душу для спасения души свой. Аминь».
Впоследствии, когда число посетителей могилы рабы Божией Ксении значительно увеличилось, к часовне с западной стороны, пристроили стеклянную галерею, и по желанию посетителей в часовне стали с утра до вечера дежурить кладбищенские священники для служения панихид по блаженной.
В 1901 году по проекту А. А. Всеславина была начата постройка новой часовни в русском стиле, освященной в октябре 1902 года. В изголовье мраморной гробницы блаженной Ксении был поставлен иконостас из мрамора и висел мозаичный образ распятого Христа, перед которым горела неугасимая лампада. На стенах — множество икон в киотах, среди них — две серебряные, которые подарил в часовню по обету князь Масальский, вернувшись с русско-турецкой войны 1877–1878 годов. За алтарем часовни, в стене, мраморная доска со словами: «Здесь покоится тело рабы Божией Ксении Григорьевны, жены придворнаго певчаго в хоре, полковника Андрея Федоровича Петрова».
В советское время власти пытались предать забвению имя блаженной Ксении. В августе 1940 года постановлением горисполкома часовня была закрыта. Во время Великой Отечественной войны в ней находился склад тары из-под горюче-смазочных материалов. Мраморные плитки с гробницы блаженной разобрали. Утварь из цветного металла сдали в переплавку, почти все иконы были сожжены.
По окончании войны, уступая настойчивым просьбам верующих, в 1946 году было получено разрешение на открытие часовни, которая вскоре была отреставрирована. С девяти утра до девяти вечера там служились панихиды при большом стечении народа.
В 1960 году часовню вновь закрыли. В ее стенах по указанию городских властей пытались устроить скульптурную мастерскую, но работать в ней было невозможно: утром, придя в мастерскую, рабочие не раз находили вместо скульптур черепки. «Могилу Ксении, — вспоминает Марфа, певчая храма Смоленской иконы Божией Матери, — замуровали, поставили на ней постамент. На этом постаменте работали мастера. Словно на трясине… Ни одного гвоздика не дала им вбить Христова угодница — все валилось из рук… Тогда решили наладить изготовление статуй типа «Женщина с винтовкой», «Девушка с веслом». Опять незадача. Сколько раз, бывало, крепко-накрепко запрут мастера часовню, утром приходят, а вместо скульптур одни черепки…» Через некоторое время работу в мастерской пришлось и вовсе прекратить. Верующие пытались очистить часовню, и двое молодых людей были брошены за это в тюрьму сроком на пять лет. Но никакими усилиями безбожников невозможно было заглушить в народе память о блаженной и веру в ее молитвенное предстательство пред престолом Божиим. К ее могилке, находящейся в часовне, стекались паломники со всей многострадальной России и из других стран русского рассеяния.