Цесаревич поступил на службы в лейб-гвардии Преображенский полк 1 января 1893 г. Он со всеми был учтив, ровен и сдержан в общении, не допуская ни малейшей фамильярности. По всему этому отношению к службе и однополчанам уже тогда чувствовалось, какой характер должен быть у будущего императора Николая II. Именно этому периоду совместной службы были посвящены воспоминания, написанные К. Р. в марте 1896 г.
Многие великие князья в разное время служили в Преображенском полку или состояли в его почетных списках. Император Николай II вспоминал годы службы в нем как самое счастливое время своей жизни.
Великий князь Константин Константинович командовал лейб-гвардии Преображенским полком с 1891 по 1900 г. В этот период он неустанно заботился об улучшении быта нижних чинов и ветеранов, о высоком моральном облике офицеров. Всеобщая любовь преображенцев была ему лучшей наградой за его труды.
Прощаясь с полком, Константин Константинович сказал:
«…Смело выражаю уверенность, что и вы, господа офицеры, перестав быть моими подчиненными, сохраните ко мне чувства товарищеского расположения, всегда рассчитывайте на мое к вам сердечное участие. От полноты сердца спасибо и вам, молодцы нижние чины, от старейшего из фельдфебелей до последнего молодого солдата. Вы знаете, как я люблю вас. Не прощаюсь и с вами, братцы, если вперед уж не как командир ваш, то все же буду как однополчанин всегда следить за вами, на вас радоваться и вами любоваться. Мне хорошо известно, что вы гордитесь честью Преображенского солдата и сумеете научить и младшие поколения, как надо служить верою и правдою Царю и Отечеству, но не за страх, а за совесть, не щадя жизни своей до последней капли крови. Я знаю, вы твердо помните, что “Потешные былые, рады тешить мы Царя”, как поется в нашей старинной полковой песне, и что “Счастьем всяк из нас считает умереть в Его глазах”. Столько лет живя радостями полка и деля его печали, я привык видеть в нем родную семью и надеюсь, что все чины и впредь будут считать меня своим. Если кого обидел или неведомо для себя причинил кому огорчение, прошу простить мне невольную вину и не поминать лихом».Константин Константинович не забывал отмечать в дневнике и события, касающиеся всего Императорского Дома Романовых. В частности, он описал процедуру добровольного принятия великой княгиней Елизаветой Федоровной православия:
«1891 год. Санкт-Петербург.
14 апреля.
Вчерашний день был знаменателен для нашего Дома: Элла присоединилась к Православию. Она сделала это не из каких-нибудь целей, а по твердому убеждению, после зрелого двухлетнего размышления. Трогательный обряд присоединения совершился у Сергея [Александровича] в его домовой церкви, рано утром. Присутствовали Государь, все семейство (кроме Михен и моей жены, которым как лютеранкам неудобно было присутствовать) и некоторые близкие знакомые. За обедней Элла причастилась…»
Константин Константинович еще в 1884 г., при появлении великой княгини Елизаветы Федоровны (1864–1918) в России, посвятил ей замечательное стихотворение:Я на тебя гляжу, любуясь ежечасно:
Ты так невыразимо хороша!
О, верно под такой наружностью прекрасной
Такая же прекрасная душа!
Какой-то кротости и грусти сокровенной
В твоих очах таится глубина;
Как ангел, ты тиха, чиста и совершенна;
Как женщина, стыдлива и нежна.
Пусть на земле ничто средь зол и скорби многой
Твою не запятнает чистоту,
И всякий, увидав тебя, прославит Бога,
Создавшего такую красоту!
Великий князь продолжал успешно продвигаться по ступеням военной карьеры. Константин Константинович 6 декабря 1894 г. был произведен в очередной чин генерал-майора с утверждением в должности командира лейб-гвардии Преображенского полка. В свиту императора Николая II был зачислен генерал-майором 5 апреля 1898 г. С 4 марта 1900 г. – он Главный начальник военно-учебных заведений Российской Империи (с ежегодным окладом в 12 тыс. рублей). В его ведении находились кадетские корпуса и военные училища. С этого момента и до конца жизни он стал (по меткой характеристике современников) «отцом всех кадет». В приказе великого князя Константина Константиновича по ведомству от 24 февраля 1901 г. к обязательному руководству было рекомендовано: поднимать в воспитанниках «сознание человеческого достоинства и бережно устранять все то, что может оскорбить или унизить это достоинство». В 1907 г. благодаря трудам великого князя были введены новые учебные программы в его ведомстве с целью «приблизить военные знания юнкеров к войсковой жизни и подготовить их к обязанности воспитателя и учителя солдат и к роли руководителя вверенной ему малой части». В Российской Империи в 1909 г. приступили к введению новых программ и в кадетских корпусах, которые превратились в полноправные средние учебные заведения, готовившие молодое поколение как к военной службе, так и к высшей школе. В январе 1901 г. Константин Константинович был произведен в генерал-лейтенанты и назначен генерал-адъютантом свиты императора Николая II. С 6 декабря 1907 г. – генерал от инфантерии с оставлением в звании генерал-адъютанта свиты.