Спенсеры были одной из самых знатных аристократических фамилий Англии. В их роду числились дети двух королей, герцог и святой. Брачные связи титулованных предков приблизили Диану к правящей династии: она была одиннадцатой кузиной наследника британского трона, Чарльза, принца Уэльского. Она даже состояла в дальнем родстве с первым президентом Соединенных Штатов, Джорджем Вашингтоном. (Кроме того, дед Дианы в свое время женился на американке Фрэнсис Уорк, и благодаря этому Диана приходилась седьмой кузиной Хэмфри Богарту и Рудольфу Валентине)
Королевское будущее девочки было предопределено семейными связями и местоположением ее родного дома. Парк-хаус, где родилась Диана, являлся собственностью королевы и был предоставлен Морису Фермою, деду Дианы по материнской линии, королем Георгом V в 1931 году. Дом находился на территории усадьбы Сандрингем в Норфолке, частной резиденции Виндзорской династии, примерно в полумиле от Сандрингемского замка, где часто бывали члены королевской семьи, и от королевской церкви.
Диана была связана с королевской семьей по обеим линиям. Дед Дианы, лорд Фермой, был другом двух королей. Он частенько охотился с Георгом V и Георгом VI. Ее отец был конюшим (весьма привилегированная должность, занимать которую могут только видные военные) королевы Елизаветы II и часто принимал участие в охотах в замке Балморал, резиденции английских королей в Шотландии. Бабушка по отцовской линии, Синтия Спенсер (урожденная леди Синтия Хэмилтон), и двоюродная бабушка, леди Делия Пил, были близкими подругами и фрейлинами королевы-матери. Такое же положение занимала и бабушка по материнской линии, леди Рут Фермой. Еще одна двоюродная бабушка Спенсер, леди Лавиния Уайт, умершая в 1966 году, с самого детства дружила с королевой Елизаветой. Из окон верхних этажей королевской резиденции в Сандрингеме можно было увидеть Парк-хаус. В этом смысле Диана для Чарльза была настоящей «девушкой с соседнего двора».
Фамильное поместье Спенсеров Олторп находилось в Нортгемптоншире, но в детстве Диана там почти не бывала. Ее суровый дед, седьмой граф Джек Спенсер, и его наследник, отец Дианы Джонни (в момент рождения девочки он был виконтом Олторпом), не горели желанием общаться с ребенком. Диана выросла в Северном Норфолке, в уединенном уголке одного из самых сельских и девственных регионов Англии, в краю зеленых холмов под бескрайним небом. А вот Сандрингем, территории которого окружали дом Спенсеров, представлял собой сосновый лес, растущий на песчаной почве. Совсем рядом, за песчаными дюнами и поросшими тростником болотами, на берег накатывали серые волны Северного моря. Северный Норфолк – это край больших поместий и аристократических семейств. Эти люди ведут замкнутую жизнь, в которую весьма неохотно впускают посторонних. Родители Дианы, Фрэнсис и Джонни Олторп, чувствовали себя в такой обстановке как рыба в воде.
Семья матери Дианы имела англо-ирландские корни, тянувшиеся в графство Корк. Отец Фрэнсис носил титул барона Фермоя. Прапрадед Дианы, Эдмунд Бёрк Рош, был избран в парламент и в середине XIX века получил титул барона. Его второй сын, Джеймс Бутби Бёрк Рош, третий барон Фермой, в 1880 году женился на американской «долларовой принцессе», Фрэнсис «Фанни» Уорк, дочери успешного брокера с Уолл-стрит. Традиционный для XIX века союз американских денег с европейским титулом, как это часто бывало, оказался несчастливым и в 1891 году завершился разводом. Отец Фанни, Фрэнк Уорк, не видел смысла в европейских титулах. После развода он сообщил дочери, что ее дети унаследуют его деньги только в том случае, если будут американцами. Старших сыновей Фанни, близнецов Мориса и Фрэнсиса, отправили в лучшие американские школы и колледжи. Они учились в школе Святого Павла в Конкорде, штат Нью-Гемпшир, и в Гарварде. Несмотря на то, что после смерти деда в 1911 году стать американцами они отказались, им удалось оспорить условия завещания. Получив около трех миллионов долларов (по современным меркам примерно 28–30 миллионов фунтов стерлингов), они покинули Америку и в 1921 году приехали в Англию. Дед Дианы, Морис, четвертый барон Фермой, осел в Норфолке и стал членом парламента от Кингс-Линн. В парламенте он заседал с 1924-го по 1935-й, а затем с 1943-го по 1945 годы. Однажды в Париже он встретил очаровательную, талантливую и очень честолюбивую Рут Гилл, дочь производителя красок из Абердиншира. Рут училась в парижской консерватории – хотела стать концертирующей пианисткой. Впрочем, она без сожалений пожертвовала потенциальной карьерой ради брака с Морисом – очень привлекательным, весьма богатым и имеющим аристократический титул. Они поженились в 1931 году; невесте было двадцать шесть, жениху – сорок шесть. У них родилось трое детей: в 1934 году Мэри, в 1936-м – Фрэнсис, мать Дианы, а в 1939-м – сын Эдмунд.