Супруги недолго наслаждались семейной идиллией. Радости Гименея все чаще омрачались размолвками. Франсис постоянно ощущала, что от нее ждут сына-наследника, и это не могло не раздражать. Кроме того, она все больше тяготилась монотонностью деревенского образа жизни, который в юности казался вполне привлекательным. Что касается покойного графа Спенсера, то вот его слова: «Какой период нашего брака можно считать счастливым? Все четырнадцать лет совместной жизни — так мне казалось до того, как мы расстались. Я ошибался: это был не разрыв, а постепенное отдаление друг от друга».
Фасад семейного благополучия все еще казался незыблемым, но по мере того как углублялись невидимые постороннему глазу трещины, атмосфера в Парк-Хаузе становилась все более тягостной. На людях супруги вели себя безупречно, но дома… Можно только догадываться, сколько горьких слов было сказано другу другу во время жарких стычек, сменявшихся ледяным молчанием. Увы, детей это ранило больше всего. Диана ясно помнит яростную ссору между родителями, которую она нечаянно подслушала, стоя за дверьми столовой.
В качестве катализатора назревавшего взрыва послужило появление в их жизни Питера Шанд-Кида. Этот богатый бизнесмен, хорошо образованный и общительный, незадолго перед тем продал овцеводческую ферму в Австралии и переехал в Великобританию. Чета Спенсеров познакомилась с Питером и его женой, Дженет Манро-Кер, на одном из светских приемов в Лондоне. Питер был одиннадцатью годами старше леди Франсис. Он производил впечатление жизнерадостного весельчака с несомненной артистической жилкой — полная противоположность ее мужа. Когда минует первоначальное ослепление, Франсис обнаружит, что он подвержен приступам хандры, черной меланхолии. Но это будет потом.
Их роман начался с поездки в Швейцарию, куда обе супружеские пары отправились кататься на горных лыжах. По возвращении в Лондон Питер оставил семью: жену и троих детей. Некоторое время они тайно встречались с Франсис на квартире в Южном Кенсингтоне в центре Лондона.
Получив от мужа согласие на раздельное проживание, мать Дианы переехала из Парк-Хауза на квартиру в одном из самых аристократических районов Белгравиа. Именно тогда возникла легенда о «побеге» из дома: якобы Франсис бросила мужа и четверых детей ради любви к другому мужчине. Молва возлагала на нее целиком всю вину за разыгравшуюся драму, а Джонни выступал в роли оскорбленного покинутого мужа. На самом деле еще до переезда леди Франсис подготовила все, чтобы дети могли жить с ней: Диану записала в частную школу, а Чарльза — в ближайший детский сад.
Спустя несколько недель после переезда Диана и Чарльз вместе со своей няней присоединилсь к матери. Франсис хотелось надеяться, что они не слишком пострадают от крушения ее брака, тем более что старшие девочки жили не дома, а в частном пансионе. Родители договорились, что дети будут приезжать на уик-энд в Парк-Хауз. В то же время, посещая Лондон, Джонни останавливался на квартире в Белгравиа. Однако встречи не приносили супругам радости. Как ни мал был тогда Чарльз, ему запала в память одна из таких встреч: мать, рыдая, сидит на краю постели, а отец смотрит в сторону маленького Чарльза, который играет на полу игрушечным паровозиком. Его деланная улыбка — жалкая попытка убедить ребенка, что все в порядке. Во время школьных каникул вся семья воссоединилась в Парк-Хаузе. Рождество встречали там же. Однако, по признанию матери Дианы, она понимала, что последний раз проводит Рождественские каникулы в Парк-Хаузе, так как «было очевидно, что сохранить семью не удастся».
Это печальное Рождество прошло без традиционных пожеланий счастья и успехов в наступающем году. Вопреки отчаянным возражениям жены виконт Олторпский не отпустил детей обратно в Лондон. Он настоял на том, чтобы они постоянно жили в Парк-Хаузе. Что касается их образования, то он выбрал Силфилдскую школу в Кинз-Линне.
Итак, юридический механизм бракоразводного процесса был запущен, и дети стали заложниками в ожесточенной схватке между бывшими супругами. Франсис возбудила дело об опеке над своими детьми. Обычно подобные дела решаются в пользу матери, однако в данном случае высокое положение в обществе и титул давали отцу серьезные преимущества.