Герцог, чьи амбиции значительно превосходили возможности, вскоре после приезда в Россию стал добиваться руки одной из дочерей императора. Петр был против подобного брачного союза, но его жене Екатерине герцог понравился, и она убедила свою дочь Анну, что он являлся хорошей партией. Царевна уступила уговорам, и было принято решение объявить об их помолвке.
В январе 1725 года Петр Великий слег и уже не смог справиться с болезнью. На смертном одре он очнулся от бреда и закричал: «Где моя маленькая Анна? Я должен увидеть ее!» Привели его дочь, но прежде чем она успела войти в комнату отца, тот снова впал в беспамятство и больше не приходил в себя. Помолвку и свадьбу отложили, но ненадолго. 21 мая 1725 года Анна вышла замуж за герцога.
Во время короткого правления матери Анна и ее муж жили в Санкт-Петербурге. Когда Екатерина умерла в 1727 году, герцог и его жена покинули Россию и отправились в Гольштейн. Анна сожалела, что ей пришлось покинуть сестру Елизавету, но она была рада тому, что забеременела. 21 февраля 1728 года через шесть месяцев после прибытия в Гольштейн она родила сына, которого на следующий день крестили в лютеранской церкви в Киле. Ребенка нарекли Карлом Петером Ульрихом, все три имени указывали на его происхождение: «Карл» – в честь его отца, а также его великого дяди Карла XII; «Петр» – в честь его дедушки Петра Великого; а «Ульрих» – в честь Ульрики, правящей королевы Швеции.
Пока Анна приходила в себя после родов, в честь нового принца был дан бал. На дворе стоял февраль, но, несмотря на сырость и мороз, счастливая девятнадцатилетняя мать настояла на том, что будет у открытого окна наблюдать за фейерверком, который устроили после бала. Когда придворные дамы запротестовали, она рассмеялась и сказала: «Не забывайте, что я – русская и привыкла к подобному климату». Однако Анна подхватила простуду, которая привела к осложнению туберкулезом, и через три месяца после рождения сына она умерла. В своем завещании Анна просила похоронить ее рядом с отцом, и вскоре прибыл русский фрегат, чтобы отвезти ее тело через Балтийское море в Санкт-Петербург.
После смерти Анны Карл Фридрих скорбел не только из-за потери юной жены, но также из-за того, что золотой поток, поступавший в Киль из царской казны в Санкт-Петербурге, теперь мог иссякнуть. Расходы герцога были довольно высоки. Он содержал большое количество слуг и целый отряд безвкусно разряженной стражи, оправдывая это тем, что он до сих пор считал себя наследником шведской короны. Всецело поглощенный своими тревогами, Карл Фридрих мало интересовался своим маленьким сыном. Заботу о мальчике поручили нянькам, а затем, когда ему исполнилось семь, французским гувернерам, которые научили его сносно говорить по-французски, хотя он всегда предпочитал свой родной, немецкий язык. В семь лет Петр начал проходить военную подготовку: учился стоять прямо, как караульный на посту, маршировать с миниатюрной саблей или мушкетом. Вскоре он проникся строгостью военной муштры. Во время занятий с учителем он мог вскочить и подбежать к окну, чтобы посмотреть на солдат, марширующих на плацу. Особенно счастливым он чувствовал себя, когда сам участвовал в парадах в форме солдата. Но Петр не отличался выносливостью. Он часто болел и тогда сидел в своей комнате, выстраивая на парад своих игрушечных солдатиков. Наконец, отец обратил на него внимание. Однажды Петр, достигший к девятилетнему возрасту чина сержанта, нес караул у дверей в комнату, где герцог обедал со своими офицерами. Когда подали еду, голодный мальчик не сводил взгляда с блюд, которые проносили мимо него. Затем, когда подали вторые блюда, его отец встал и подвел его к столу, где торжественно объявил о присвоении сыну чина лейтенанта, после чего пригласил сесть за стол с офицерами. Годы спустя, уже в России, Петр вспоминал, что «это был самый счастливый день в моей жизни».
Образование Петра по большей части было бессистемным. Он отлично владел шведским и французским и учился переводить с этих языков на немецкий. Он любил музыку, хотя его интерес в этой сфере не находил поощрения. Ему нравилась скрипка, но он так и не научился должным образом играть на этом инструменте. Мальчик упражнялся самостоятельно, как умел – играл свои любимые мелодии и мучил слух окружающих.