Впрочем, до поры Павел был влюблен и слепо верил жене, она казалась ему существом безупречным и целомудренным. Даже когда мать попыталась открыть сыну глаза, он не внял ее предупреждению. И только после того, как Наталья скончалась от родов, Павел узнал правду. В шкатулке покойной были найдены письма ее возлюбленного.
По настоянию матери Павел женился во второй раз. Опять сосватали невесту немецких кровей — герцогиню Вюртембергскую Софью-Доротею. Павлу она понравилась, и осенью 1776 года сыграли свадьбу. Софья-Доротея приняла православие и стала Марией Федоровной. Уже через год появился первенец Александр. Всего у них родится четыре сына, в том числе будущие императоры Александр I и Николай I, и шесть дочерей. Со временем, однако, семейная жизнь великокняжеской четы разладилась. У Павла появились побочные связи, в частности с Глафирой Ивановной Алымовой. Она была смолянкой первого выпуска в 1776 году и стала всеобщей любимицей при дворе за веселый нрав. Екатерина II ласково называла ее «Алимушка» и назначила ее фрейлиной к жене наследника. Однако под внешне веселым и живым характером скрывалась тщеславная и завистливая натура. Кажется, Павел вздохнул с облегчением, когда она вышла за тайного советника Ржевского.
К этому моменту у Павла появилась новая привязанность — мадемуазель Нелидова.
Екатерина Ивановна тоже была выпускница Смольного института и также отличалась веселым нравом и артистическим талантом — блистала на любительских спектаклях. Красивой назвать ее нельзя было, зато умной — можно. И она тоже нравилась Екатерине, которая ее звала Катенькой, и определила во фрейлины к жене наследника, и пожаловала даже бриллиантовый перстень. Понравилась она и Павлу. Поползли упорные слухи об их близости. Но скорее всего дело ограничилось лишь искренней дружбой. В чем, впрочем, признался и сам Павел в письме к матери: «Клянусь торжественно и свидетельствую, что нас соединяла дружба священная и нежная, но невинная и чистая».
С этого момента у Павла, казалось, осталась одна любовь — армия. Если не считать страстного увлечения Анной Петровной Лопухиной. Впервые он увидел эту девушку с огненными черными глазами на одном из балов в Москве в дни коронации, в 1797 году. И был сразу же очарован. Любимец Павла, его «брадобрей» и советчик И. П. Кутайсов, поспешил исполнить роль, как тогда говорили, «негоциатора». Ловкий царедворец, он повел переговоры с родителями девицы и вскоре вся семья переселилась в Петербург, была осыпана царскими милостями. Анна Лопухина пожалована фрейлиною и приглашена жить в Павловск. Для нее было устроено особое помещение, нечто вроде дачи, в которую Павел мог незаметно пройти из «Розового павильона». А во дворце была потайная дверь, за которой скрывалась винтовая лестница: она вела в покои Анны Петровны. Император являлся туда, каждый вечер, как он вначале сам воображал, с чисто платоническими чувствами восхищения. Но со временем чувства Павла переросли в страстное желание обладать Анной. Этому способствовало и ее сопротивление. К его досаде, настойчивые ухаживания не приносили плодов. Тогда он подарил ей жемчужное ожерелье стоимостью в несколько десятков тысяч. Но крепость и после этого держалась.
Не разделяя чувств императора, она однажды решилась сказать ему, что давно уже любит князя Павла Гавриловича Гагарина. Это признание она сделала как-то вечером, когда Павел оказался более навязчивым, чем обыкновенно. После чего разрыдалась и умоляла государя оставить ее. Павел был поражен, но решил быть рыцарем, великодушно уступил и дал согласие на ее брак с князем. И даже почтил присутствием свадебное торжество. До самой смерти Павел оставался верен своей страсти, считал Анну единственным своим другом и часто проводил время у нее в доме, отдыхая от государственных дел. Ее именем был назван корабль, оно красовалось на знаменах гвардии. Павел считал, что Анна была послана ему свыше, но злой рок не дал им соединиться.
Вообще говоря, император с молодых лет верил во все таинственное и чудесное, в предзнаменования и сны. Возможно, это началось еще в раннем детстве с рассказов нянек, которые своей болтовней о домовых и привидениях расстроили нервы и без того впечатлительного ребенка. Случалось, что при звуке хлопнувшей двери он прятался под стол и в страхе трясся. Павел рос мечтательным и самолюбивым. К тому же недоверчиво относился к окружавшим его людям. Его очень интересовало, почему убили его отца и отдали матери престол. Он говорил, что когда вырастет, то потребует отчет обо всем этом.
Все эти черты характера с годами развились и сделали его крайне подозрительным и непостоянным в симпатиях. Жил он до самого вступления на престол в Гатчинском дворце, подаренном матерью. Затем выстроил себе Михайловский замок, где, ему казалось, он будет в безопасности и никакие заговоры и покушения ему не страшны, ибо хорошо помнил, как кончил его отец. Он и сам многими чертами напоминал родителя — любовью к войску, организованному на прусский манер, к муштре, упрямством и вспыльчивостью, непродуманностью решений, но главное — трагическим совпадением судеб.