Семья Фермоев также оставила свой след в истории. Морис Фермой, четвертый барон, стал членом парламента от консерваторов, а его супруга, родом из Шотландии (ради замужества ей пришлось оставить карьеру подававшей большие надежды пианистки), основала музыкальный фестиваль в Кингз-Линне, в котором принимали участие такие именитые музыканты, как сэр Джон Барбиролли и Иегуди Менухин.
Нельзя сказать, чтобы длинный перечень благородных предков доставлял юной Диане Спенсер тщеславное удовольствие. Напротив, девочкой она не без страха ожидала очередного посещения родового Олторпского поместья. Ее отпугивал старинный дом с таинственными закоулками и сумрачными галереями, где на стенах висели портреты бородатых предков — их глаза, казалось, неотступно следят за каждым ее шагом. Вот как вспоминает об этом ее брат: «Дом напоминал жилище старого джентльмена, доживающего свой век среди мирно тикающих старинных часов. Это было кошмарное место для впечатлительного ребенка. Поездки туда были для нас сущим наказанием».
Царившая в доме зловещая атмосфера усугублялась взаимной неприязнью между суровым дедушкой Дианы, Джеком, седьмым графом Спенсером и его сыном Джонни, виконтом Олторпским. В течение многих лет отец и сын находились в, мягко говоря, натянутых отношениях. Резкие до грубости манеры старого графа сочетались с фанатичной преданностью родному гнезду, за что он получил прозвище «хранителя древностей»: действительно, граф досконально знал историю каждого предмета, каждой картины в своем величественном замке. Он до такой степени дорожил своими реликвиями, что нередко, показывая дом посетителям, бережно смахивал пыль специальным веничком и однажды вырвал сигару изо рта самого Уинстона Черчилля, когда тот неосторожно закурил в библиотеке. Под маской несносного брюзги скрывался человек большой культуры и тонкого вкуса, чье жизненное кредо резко отличалось от пристрастий его сына, типичного английского помещика, любившего сельское хозяйство, охоту и другие развлечения на лоне природы.
Если дедушка внушал Диане благоговейное уважение, то свою бабушку, графиню Спенсер она обожала. «Бабушка была такая замечательная, милая и ни на кого не похожая. Просто чудо!» — вспоминает Диана. Графиня регулярно оказывала помощь больным и престарелым, и молва о ее доброте и великодушии распространилась далеко за пределы Олторпской усадьбы. От матери Диана унаследовала деятельный и твердый характер, а бабушка по отцовской линии передала ей свою доброту и чуткость.
По сравнению с мрачноватым великолепием Олторпской усадьбы, родной дом Дианы, Парк-Хауз, казался скромным и уютным. В доме было десять спален, не считая коттеджей для прислуги, обширных гаражей, открытого плавательного бассейна, теннисного корта и площадки для игры в крикет. Хозяева усадьбы содержали шесть человек прислуги, включая повара, дворецкого и гувернантку.
Со стороны дом, окруженный деревьями и кустарником, производит внушительное впечатление, однако посеревшая от времени кирпичная кладка придает зданию несколько унылый и запущенный вид. Несмотря на это, дети были очень привязаны к дому. Когда умер дедушка, седьмой граф Спенсер, и семья собралась переезжать в Олторп, Чарльз обежал все комнаты, чтобы попрощаться с ними, а Диана и теперь наведывается в дом, где прошло ее детство, хотя здание давно передано в ведение Чеширского дома инвалидов.
Парк-Хауз обладал своей собственной, неповторимой атмосферой. На первом этаже помещалась кухня с каменным полом и прачечная — здесь хозяйничал рыжий кот Дианы по кличке Мармелад, известный своими проказами. Здесь же находилась классная комната, где гувернантка мисс Гертруда Аллен (дети прозвали ее Алли) обучала девочек азам чтения и письма. Соседняя комната напоминала домашний музей — стены в ней были сплошь увешаны афишами, фотографиями и другими реликвиями, связанными с группой Битлз — домочадцы так и называли это помещение «комната Битлз». Это была своеобразная дань поп-звездам шестидесятых годов. В интерьере остальных помещений этого просторного жилища трудно было найти какие-либо новшества послевоенной эпохи. Парк-Хауз являл собой классический образец жилища английской аристократии с его непременными атрибутами: парадными семейными портретами, полковыми фотографиями, дипломами в рамочке, грамотами и вымпелами, украшавшими стены в память о заслугах и достижениях членов семьи.