После смерти мужа из доли состояния, предназначенного на благотворительные цели, великая княгиня выделила часть денег на приобретение усадьбы на Большой Ордынке и начала здесь строительство церкви и помещений обители, амбулатории, приюта. В феврале 1909 года была открыта Марфо-Мариинская обитель Милосердия, в ней было всего шесть сестер. На территории обители построили два храма: первый — в честь святых жен-мироносиц Марфы и Марии, второй — Покрова Пресвятой Богородицы. Под последним соорудили небольшую церковь-усыпальницу. Великая княгиня думала, что здесь будет покоиться после смерти ее тело, но Бог судил иначе.
22 апреля 1910 года в храме Марфы и Марии епископ Трифон посвятил в крестовые сестры любви и милосердия 17 подвижниц во главе с настоятельницей. Великая княгиня впервые сняла траур и облачилась в одеяние крестовой сестры любви и милосердия. Она собрала семнадцать сестер и сказала: «Я оставляю блестящий мир, где я занимала блестящее положение, но вместе со всеми вами я восхожу в более великий мир — в мир бедных и страдающих».
Были построены богадельня, больница и детский приют. Обитель была необычайно красива, здесь совершались запомнившиеся многим современникам проникновенные богослужения. Храмы, один из которых был построен знаменитым архитектором Щусевым и расписан художником Михаилом Нестеровым, благоухание цветов, оранжереи, парк — все являло собой духовную гармонию.
Сестры учились основам медицины, посещали больницы и богадельни, именно сюда привозили самых тяжелых больных, от которых все отказывались, к ним приглашали лучших специалистов, врачебные кабинеты и хирургическая клиника были лучшими в Москве, все операции проводили бесплатно. Здесь же была построена аптека, где бедным лекарства тоже отпускались бесплатно. Днем и ночью сестры неусыпно следили за состоянием больных, терпеливо ухаживали за ними, а настоятельница, казалось им, всегда была с ними, ибо на сон она отводила себе 2–3 часа в день. Многие безнадежные вставали и, уходя из обители, плакали, называя Елизавету Федоровну «Великой матушкой». Она сама перевязывала раны, часто просиживала все ночи у постели больного. Если кто-то умирал, она всю ночь читала над покойником Псалтырь, а в 6 утра неизменно начинала свой рабочий день.
Елизавета Федоровна открыла в монастыре школу для сирот и детей, которых она находила на Хитровом рынке. Это было место, где, казалось, собрались все отбросы общества, но настоятельница всегда повторяла: «Подобие Божие может быть иногда затемнено, но оно не может быть уничтожено». Здесь уже все знали ее, уважали, ласково и с почтением именовали «матушкой» и «сестрой Елизаветой». Ее не пугали ни болезни, ни грязь окружающая, ни брань, разносившаяся по Хитровке, неутомимо и ревностно искала она здесь сирот, переходила вместе со своими сестрами Варварой Яковлевой или княжной Марией Оболенской из притона в притон, уговаривая отдать их на воспитание ей. Мальчики с Хитровки в скором времени стали работать в артели посыльных, девочек устраивали в закрытые учебные заведения и приюты, в обители также был организован приют для девочек-сирот, а для бедных детей к Рождеству устраивали большую елку с подарками.
Кроме того, в обители была открыта воскресная школа для работниц фабрики, организована библиотека, где бесплатно выдавались книги, ежедневно для бедных отпускалось более 300 обедов, а те, у кого были многодетные семьи, могли брать обеды домой.
Со временем ей хотелось распространить опыт своей обители на всю Россию и открыть отделения в других городах. В 1914 году крестовых сестер в обители было уже 97.
В обители великая княгиня вела подвижнический образ жизни: спала на деревянных досках без матраса, тайно носила власяницу и вериги, делала все сама, строго соблюдала посты, питалась только растительной пищей. Когда больной нуждался в помощи, она просиживала у его постели всю ночь до рассвета, ассистировала при самых сложных операциях. Больные ощущали исходившую от нее целебную силу духа и соглашались на любую самую тяжелую операцию, если она говорила о ее необходимости.