Процесс ухаживания растянулся на год, и летом 1866-го княжна Долгорукая заняла место любимой женщины императора, пока неформальной, зато самой близкой. Близость их усиливалась, обрастая встречами и перепиской, пока не стала повседневной. Отношения Александра и Екатерины обслуживал негласный штат людей, приближенных к императору, а познакомившая их Варвара Шебеко стала неотлучной компаньонкой княжны. Секретом для Двора, а следовательно, и для высшего общества в Петербурге их отношения не являлись. Все, однако, знали о плачевном состоянии здоровья императрицы и смотрели на происходящее как на естественный флирт. Тревожный звонок прозвенел в конце апреля 1872 года, когда Екатерина Михайловна родила сына, названного Георгием. Появление у Александра и Екатерины сына было болезненно воспринято императрицей Марией Александровной и ее детьми. В особенности тяжелым известие о рождении Георгия оказалось для наследника-цесаревича Александра Александровича и его супруги Марии Федоровны. Происходящее уже нельзя было расценивать как проходящий флирт: родилась параллельная семья с полноценным наследником. Перспективы развития такой ситуации могли быть самыми разными, но именно для наследной четы они не сулили ничего хорошего. В крайне незавидном положении оказалась и сама императрица. Она была лишена малейшей возможности на супружеский демарш, сознавая шаткость своего положения как дочери барона де Гранси. Дети императрицы, включая наследника Александра, разумеется, знали подноготную происхождения своей матери, но им ничего не оставалось, как с ужасом наблюдать, в какую сторону будут развиваться события. Одна только фамилия Долгорукой приводила семейство в шок. Именно на 1872 год следует отнести и охлаждение отношений наследника с отцом, скоро переросшее в скрытый конфликт. Словом, заволновалась вся ветвь Гранси, выросшая вдруг на могучем древе рода Романовых.
В окружении княжны Долгоруковой с рождением сына Георгия появилась комнатная девушка Вера Боровикова. В обязанности Веры входили повседневное обслуживание княжны: утреннее одевание и причесывание, гардероб, а также сопровождение в поездках. В придворной номенклатуре должность Веры Боровиковой называлась камерюнгфер, но по роду службы она была на протяжении многих лет одним из самых близких к княжне людей и в этом смысле даже составляла конкуренцию Варваре Шебеко. В 1872 году княжна Долгорукова была уже тенью императора и следовала за ним повсюду, как в Европе, так и в ежегодных выездах на летний отдых в Ливадию. В Ливадии император распорядился о покупке для княжны дачи, неподалеку от царской резиденции, которую называли по-татарски Бьюк-Сарай (Большой дворец). Параллельная жизнь княжны с ее маленькимвором и детьми была вполне комфортной, но изолированной от императорского Двора и всего официального окружения Александра II. Вера Боровикова вспоминала:
«Зиму жили всегда в Петербурге, а весной уезжали в Германию, в Эмс. Государь ездил лечиться, и княжна также. Из Эмса возвращались в Царское Село, а в августе 22–23-го уезжали в Крым. Государь с Государыней в Ливадию, а мы к себе в Бьюк-Сарай. Жили всегда по три месяца, и каждый день к нам в Бьюк-Сарай приезжал Государь, всегда верхом; Государь проезжал через сад, затем пил чай и отдыхал» [7].
Уже на следующий год Екатерина Михайловна порадовала императора дочерью Ольгой, а в 1878 году новая семья императора приросла дочерью Екатериной. К этому времени симпатии Двора и петербургской аристократии были всецело на стороне императрицы Марии Александровны. Ее жалели, уважая ее смиренный нрав и позу всепрощения по отношению к своему супругу. Много прочувствованных слов в адрес императрицы можно найти в мемуарах русских аристократок и дам, трудившихся при Дворе. Княжне Долгорукой достались только слова осуждения, из которых «авантюристка» было не самым сильным. Людская молва лишила княжну Долгорукую права на любовь мужчины, выбравшего ее только на основании личной симпатии, а не в соответствии с династическими инструкциями. В личной переписке Александра и Екатерины историки через много лет обнаружили, кроме привязанности и полного взаимопонимания, большое человеческое чувство. События продолжали развиваться в крайне неблагоприятном для потомства барона Гранси направлении.
Следующим поворотным пунктом стало возвращение императора из Ливадии осенью 1878 года, где он отдыхал после пребывания в действующей армии на Балканах. В сентябре в Крыму княжна Долгорукая родила дочь Екатерину и, вернувшись в Петербург, поселилась с детьми прямо в Зимнем дворце, в трех просторных комнатах третьего этажа. Император устал от конспиративных встреч в городе и решил устроить свою повседневную жизнь несколько комфортнее. Такого знакового поворота событий никто не ожидал. Как пощечину восприняла появление Долгорукой в царской резиденции императрица. В ее окружении, хотя и шепотом, называли поведение императора преступным. Конфликт приобрел невиданную остроту. Вокруг наследника сформировался кружок сочувствующих, но на открытую конфронтацию никто не шел, да и сам император не афишировал своих отношений до такой степени, чтобы разгорелся скандал. Скорее всего, выяснение отношений происходило, что называется, на высшем уровне и в узком семейном кругу, а до ближайшего окружения доходили только отдельные реплики и высказывания. Для пересудов хватало и этого.