Когда-то только поженившиеся супруги обсуждали, какими правителями они станут. Но реальность была другой. Молодой император все чаще стал пропадать вне дома и заводить отношения с другими женщинами. В главные фаворитки выбилась первая светская красавица Мария Нарышкина. Фактически она стала ему второй женой и родила троих детей. Ее описывали как женщину не самых добропорядочных нравов, которая одновременно крутила романы сразу с несколькими мужчинами. Прекрасно понимая, какое место она занимает в жизни императора, Мария не раз пыталась задеть императрицу. По слухам, однажды на одном из вечеров произошла следующая ситуация. Нарышкина была в очередной раз беременна от Александра Павловича. Она подошла к Елизавете Алексеевне и сказала: «Знаете ли, я жду ребенка». Этот эпизод был очень болезненным для императрицы — она переживала и из-за измен мужа, и из-за отсутствия собственных детей.
Елизавета Алексеевна пыталась найти себя в чем-то другом. Она активно занималась благотворительностью, видя в этом свое призвание. Вокруг все восхищались императрицей и ее благими делами, но только не император. Когда окружающие замечали вслух, как прекрасна его жена, Александр Павлович отвечал, что ничего подобного не видит.
Если бы Александр не был так холоден по отношению к супруге, то жизнь обоих сложилась бы более счастливо. Однако у него была фаворитка Нарышкина, а в жизни Елизаветы Алексеевны появился кавалергард Алексей Охотников. После смерти императрицы было велено сжечь все дневники и письма, а поэтому развитие их отношений можно проследить только по обрывкам, которые спустя век нашел великий князь Николай Михайлович, увлекавшийся семейной историей. О жизни императрицы Елизаветы он написал книгу, цензором которой выступил Николай II. Главу об отношениях императрицы и кавалергарда он издавать запретил.
Как и многие офицеры, Охотников был тайно влюблен в Елизавету Алексеевну. Кавалергард пытался всюду встречаться с ней, чтобы перехватить хотя бы взгляд возлюбленной. Постепенно и сама императрица заметила молодого мужчину, хотя до этого момента хранила абсолютную верность мужу.
Некоторое время они встречались у нее в апартаментах, в которые Охотников попадал через окно. Роман был недолгим — Алексей заболел чахоткой и скончался, хотя и ходили слухи, что императорская семья подослала к нему убийц. На момент смерти возлюбленного Елизавета Алексеевна была беременна — малышка Елизавета родилась уже после смерти кавалергарда. В пользу версии об этом романе говорит и памятник, который был установлен на его могиле: небогатая семья Охотниковых такого роскошного мраморного памятника позволить себе не могла.
Есть несколько воспоминаний, что в шкатулке Елизаветы после ее смерти был найден кулон с вложенными мужскими волосами, однако доподлинно неизвестно, правда ли это. Рожденную от Охотникова девочку Александр I признал как свою дочь (в 1806 году интимных отношений между императором и его женой уже не было, Елизавета не могла забеременеть от супруга). Став единственной радостью императрицы, «котеночком», как она ее называла, малышка Елизавета Александровна подхватила инфекцию во время прорезания зубов и скончалась в полуторагодовалом возрасте. Императрица Елизавета опять осталась одна.
И лишь война 1812 года сблизила ее с супругом-императором. Первое время Александр I был в оцепенении от развития событий, а Елизавета всячески старалась поддержать и его, и своих подданных. Для помощи раненым, вдовам и сиротам она сократила свои траты — с полагающегося миллиона содержания в год она брала только 15 тысяч рублей, а все остальное отправляла на нужды фронта, лазарета и благотворительных обществ. К этому времени Александр Павлович узнал об измене своей фаворитки Нарышкиной. Так закончились их отношения — изменявший сам, ее измены он терпеть не стал.
Видя, насколько активна его супруга во время Отечественной войны, император посмотрел на нее по-другому. К тому же его потрясла смерть любимицы — дочери Софии от Марии Нарышкиной. Девушка скончалась от болезни накануне своего совершеннолетия. И в этот момент поддержала Александра именно Елизавета Алексеевна, а не кто-то другой. Потери и тяжелое положение России вернуло супругам пусть не любовь, но дружбу и взаимоуважение. После победы над армией Наполеона императрица Елизавета произвела в Европе настоящий фурор: ей рукоплескали, а ее вкладом в победу восхищались первые лица государств. Восхитился и сам государь.