В 1850 г. он был назначен в свиту императора, через 2 года произведён в генерал-лейтенанты и 19 февраля 1855 г. назначен генерал-адъютантом. В 1859 г. в ознаменование дня совершеннолетия цесаревича Николая Александровича получил при высочайшем рескрипте золотую украшенную бриллиантами табакерку с портретом Их Величеств и Его Высочества (249, т. 10, с. 405).
В следующем году Н. В. Зиновьев назначается членом Комитета о раненых. В дальнейшем к его помощи не раз обращались при решении чрезвычайных и значимых проблем.
41-летний Гогель был назначен в помощники Зиновьеву по рекомендации покойного великого князя Михаила Павловича, который знал его как отличного фронтового офицера л.-гв. Волынского полка, а потом как примерного батальонного командира Института инженеров корпуса путей сообщения.
Действительно, Гогель отличился в сражениях при подавлении польского мятежа в 1831 г. Однако в 1836 г. за участие в дуэли состоял под судом, 3 месяца провёл на гауптвахте. Со временем восстановил своё честное имя. Был помощником директора института. Был женат на дочери генерал-лейтенанта С. М. Степовой. В период пребывания при великих князьях следил за их выправкой, заботился об оснащении их помещений, об их одежде и туалете. Особенно он был изобретателен при устройстве праздников и увеселений и подготовке юных князей к разводам и парадам. К сожалению Гогель был совершенно не способен влиять на духовное развитие своих питомцев. Уже в 1852 г. Григорий Фёдорович назначается флигель-адъютантом и производится в генерал-майоры. Через два года ему присваивают звание генерал-адъютанта и назначают в свиту Его Величества. 8 сентября 1859 г. по случаю совершеннолетия цесаревича Николая Александровича Гогель получил на 12 лет аренду по 3’000 руб. в год (потом продолжена на 6 лет). 6 декабря 1860 г. он произведён в генерал-лейтенанты и назначен помощником главноуправляющего Царским Селом. В то же время некоторые современники, хорошо знавшие Зиновьева и Гогеля, весьма критично отзывались о них.
Князь П. В. Долгоруков, например, считал, что оба воспитателя были людьми честными, но бездарными представителями николаевской эпохи, вовсе не понимающими потребностей времени.
Наиболее способным и образованным среди первых воспитателей считался 29-летний Н. Г. Казнаков. После окончания Императорской военной академии в 1847 г. первым с награждением большой серебряной медалью он был переведён в гвардейский Генеральный штаб.
В 1850-1853 гг. Казнаков, являясь адъюнкт-профессором тактики в Военной академии, читал лекции по этому предмету старшим офицерам гвардейского корпуса. В дни своей воспитательной деятельности с 1853 по 1861 г. Казнаков проявил себя эрудированным, внимательным и доброжелательным педагогом. Однако воспитательная роль его была пассивной. Зиновьев, относившийся к нему как к родному сыну, видимо, считал его недостаточно опытным или слишком молодым для того, чтобы принимать его взгляды и мнения и, следовательно, действовать в разрез с установившимся порядком. Сознавая это, Казнаков как честный человек вскоре стал скучать, тяготиться своим положением и жаждал другого назначения.
В 1855 г. он получил звание флигель-адъютанта, а в 1858 г. произведён в генерал-майоры с зачислением в свиту Его Величества. В 1861 г. Николай Геннадьевич был командирован в Калужскую губернию, для того чтобы контролировать введение в действие положения о крестьянах. При этом за правильное решение возникших недоразумений в одном из имений получил высочайшее благоволение и в том же году назначен начальником штаба отдельного гренадерского корпуса.
Кроме военных воспитателей, или, как называли их при дворе, гувернёров, с двумя старшими сыновьями цесаревича продолжала заниматься Скрипицына, а с нового, 1850 г., по два раза в неделю давали им уроки учитель гимнастики Август Линден и учитель танцев Огюст.
Ежедневно дети вставали в 7 часов утра, после молитвы до занятий ходили здороваться с родителями и с императорской четой. Нередко «грозного анпапа» встречали в парке во время его обычной утренней прогулки, «чинно становились перед ним во фрунт и снимали фуражки, за что каждый получал по звонкому поцелую» от него. Около часа до завтрака ребята занимались с Хреновым маршировкой и ружейными приёмами. После завтрака дважды в неделю они обучались воспитателями и дважды занимались гимнастикой на сетке. Каждый день в полдень начинался урок у Скрипицыной. В два часа следовал обед, после которого ходили гулять с гувернёрами, либо ездили по окрестностям Царского Села в шарабане, тележке или верхом на маленьких лошадках. В 4 часа подавали чай, затем два раза в неделю проходил урок танца и дважды занятия со Скрипицыной.