Принцесса София, чья щедрость, как тогда говорили, во многом объяснялась умением Джона Конроя оказать положительное влияние на ее незаконнорожденного сына — капитана Гарта, назначила Конроя своим неофициальным представителем, а потом неоднократно обращалась к своему брату, королю, с просьбой войти в положение герцогини Кентской. Король, который обожал своих несравненных сестер, отреагировал на это незамедлительно: Луиза Лецен была произведена его величеством в баронессу Ганноверскую, а Джон Конрой был возведен королем в рыцари Ганноверского ордена.
Однако сэр Джон Конрой, успешно завоевавший доверие герцогини Кентской и принцессы Софии, потерпел сокрушительное поражение в своих усилиях добиться расположения принцессы Виктории, к которой он относился без надлежащей серьезности. А дети, как известно, не любят насмешливого к себе отношения. Он говорил, что она походит на герцога Глостерского, одного из самых непопулярных членов ее семьи. Более того, он не упускал случая посмеяться над ее бабушкой, королевой Шарлоттой, напоминая о том, что именно у нее принцесса Виктория переняла все замашки и в особенности привычку копить карманные деньги на черный день. Кроме того, он часто дразнил ее за ту наивность, которую она проявляла в отношении окружающих ее людей, и говорил, что она должна забыть о своих амбициях и не обращать внимания на его шутки.
В конце концов принцесса Виктория возненавидела Джона Конроя. Герцог Веллингтон совершенно искренне считал, что причиной этой ненависти стало не отношение Конроя к девочке, а то, что она была свидетельницей его «несколько фамильярных» отношений с матерью. Когда Чарльз Криви деликатно заметил герцогу, что, по его мнению, герцогиня является любовницей Конроя, тот не стал с ним спорить и сказал, что и сам так думает.
В последующие периоды жизни Виктория решительным образом отметала все предположения, что ее мать и Джон Конрой могли быть любовниками, и, вне всяких сомнений, была по-своему права. И тем не менее ее неприязнь к Джону Конрою приобрела стойкий характер, а чувства матери к своему официальному представителю самым серьезным образом омрачали отношения между матерью и дочерью. В такой же степени эти чувства повлияли и на некогда дружеские взаимоотношения с дочерью Конроя, глупой, неинтересной девочкой и единственной ровесницей Виктории, с которой та позволяла себе общаться.
Окончательно укрепив свое положение в Кенсингтонском дворце, сэр Джон Конрой больше не скрывал раздражения, которое иногда вызывала у него герцогиня. Конрой считал, что она живет как «в тумане» и не понимает сути происходящих событий. Именно поэтому он установил во дворце так называемую кенсингтонскую систему, то есть такой порядок вещей, при котором, по его словам, принцесса Виктория должна стать «надеждой нации» и «народной королевой». А это предполагало, что девочка будет полностью зависеть от матери, которая в случае смерти герцога Кларенского автоматически превратится в регента до достижения Викторией восемнадцатилетнего возраста. Поэтому он считал чрезвычайно важным устранить любой риск несанкционированного проникновения в Кенсингтонский дворец посторонних людей, которые могли бы оказать влияние на подрастающую принцессу. Ей по-прежнему следовало спать в опочивальне матери, находиться под неусыпным присмотром в любой из комнат дворца, а во время прогулок на свежем воздухе ее обязательно должны сопровождать взрослые и при этом непременно держать за руку. Кроме того, принцессе не разрешалось вступать в непосредственный контакт с посетителями дворца без присутствия третьих лиц. Словом, она должна была бы самым надежным образом ограждена от любого, кто мог посеять сомнения в ее правах. Более того, ее постоянно изолировали даже от других членов королевской семьи, и в особенности от дурного влияния дяди, герцога Камберлендского, который, по твердому убеждению Джона Конроя, мог без зазрения совести отравить ребенка или каким-то другим образом устранить претендента на королевский престол, чтобы потом самому занять трон.