Александр вместе с Елизаветой часто ездил в Гатчину или Павловск, где большую часть времени находилась его мать. Хотя эти визиты и не доставляли особого удовольствия невестке, она тем не менее была счастлива, что хотя бы эти часы её дорогой супруг находится с ней вместе.
Однако к концу 1804 года Александр стал постепенно отдаляться от жены, сохраняя пока ещё внешние приличия. Свою мужскую страсть он отдал княгине Марии Нарышкиной, пригретой когда-то Екатериной II польской красавице. Она яркой звездой всё ещё блистала при петербургском дворе. Перед ней преклонялись, считали за честь быть в её окружении. Про мужа княгини говорили, что у него две должности: явная — обер-егермейстера и тайная — снисходительного супруга.
Лето Нарышкины проводили обычно на своей даче на берегу Малой Невки, неподалёку от Каменноостровского дворца императора. Там часто собиралось высшее общество, устраивались великолепные праздники, балы, фейерверки на реке. Окна каменного двухэтажного дома с колоннами и плоским куполом всегда ярко светились, комнаты были обставлены дорогой мебелью, повсюду царила изысканная роскошь. Красавица хозяйка принимала обычно своих гостей в белом платье, подчёркивающем блеск её чёрных волос, в которых не было ни жемчуга, ни цветов, как требовала мода того времени. Княгиня прекрасно знала, что никаких украшений ей не нужно. «Время словно скользит по этой женщине, как вода по клеёнке. С каждым днём она хорошеет», — говорили современники.
Не устоял перед прелестями Марии и император Александр, который довольно часто стал бывать на даче Нарышкиных, естественно без супруги. Княгиня сумела покорить сердце молодого царя, то играя на нотах восторженной любви, то действуя на его самолюбие. Его благосклонное отношение к ней было сразу замечено. Пошли слухи, что государь якобы разыграл княгиню в лотерею с Платоном Зубовым, бывшим фаворитом его бабушки, и, выиграв, сделал её своей любовницей. Мария же была так хороша, что у многих приближённых не хватало духа осудить императора за эту связь на глазах всего двора. Гёте писал из Карлсбада фон Штейн в 1806 году: «Среди недавно прибывших — красавица княгиня Нарышкина, которая служит доказательством того, что у Александра неплохой вкус».
В письмах матери Елизавета Алексеевна намекала на измену Александра, порой не скрывая своего отчаяния. Она всё ещё была влюблена в своего царственного супруга и с достоинством переносила выпавшие на её долю страдания. Однажды на приёме в Зимнем дворце, который давала императорская чета, Елизавета Алексеевна спросила княгиню Нарышкину о её здоровье. «Не совсем хорошо, — ответила та, — я, кажется, беременна». Обе женщины знали от кого... Но лишь немногие могли понять, как глубока рана оскорблённой жены. Императрицу жалели, императора осуждали, а между собой шептались: «Будь поменьше гордости, побольше мягкости и простоты, и государыня легко бы взяла верх над своей соперницей». Но женщине, особенно царственной, трудно было вдруг изменить себя. Елизавета Алексеевна привыкла к обожанию, она не могла примириться с мыслью, что отныне ей надо изыскивать средства, чтобы угодить супругу. Она охотно приняла бы изъявление его нежности, но добиваться её не хотела. Какая-то апатия овладела бедной принцессой. Ей хотелось иметь ребёнка, а радость стать матерью всё ещё не выпадала на её долю.
К счастью, Александра I вскоре отвлекли внешние события: началась кампания против Наполеона. Закончилась она поражением русских и австрийских войск и невыгодным для России перемирием. Верная супруга страшно переживала эту неудачу и старалась, как могла, чисто по-женски утешить возвратившегося императора. Как всегда в трудные минуты, её мужественная поддержка действовала на императора благотворно. Нарышкиной в то время не было в столице, она уехала в Германию, чтобы поправить своё здоровье, пошатнувшееся после родов. Александр старался чаще быть в обществе своей милой жены.
Весной 1806 года Елизавета Алексеевна почувствовала, что пришёл её черёд вновь стать матерью. Она была очень счастлива и горда этим. Лето, как обычно, императорская чета провела в своём дворце на Каменном острове, а в середине сентября переехала в Зимний. Срок родов приближался.
В начале ноября около пяти часов утра Петербург был разбужен пушечными выстрелами, возвещавшими благополучное разрешение от бремени её величества императрицы. Родилась великая княжна Елизавета.