Сын генерал-адмирала с детства был предназначен к службе в Российском Императорском флоте. С семилетнего возраста и до совершеннолетия его воспитателем был капитан 1-го ранга Илья Александрович Зеленой (1841–1906). С рождения Константин был назначен шефом 15-го Тифлисского гренадерского полка, которому с этого времени было присвоено его имя. Он был зачислен в списки лейб-гвардии: Конный и Измайловский полки, 3-ю гвардейскую и гренадерскую артиллерийскую бригады, Гвардейский экипаж, Гвардейскую пешую артиллерию. Он 11 июня 1865 г. был записан в лейб-гвардии 4-й стрелковый Императорской Фамилии батальон (в список 2-й роты), и в этот же день ему вручили орден Святого Станислава 1-й степени. Великий князь Константин Константинович получил домашнее разностороннее образование, обладал с малолетства многими природными способностями и талантами. Большую роль в формировании личности великого князя сыграли его родители, сама атмосфера дворца и Императорского Двора.
Преподавателями великого князя Константина Константиновича были известные люди своего времени: историки С.М. Соловьев, К.Н. Бестужев-Рюмин и О. Шиховский, знаменитый писатель И.А. Гончаров (словесность), профессора консерватории, композиторы: пианист Р.В. Кюндингер и виолончелист И.И. Зейферт, профессор теории и истории музыки Г.А. Ларош; английский язык преподавал англичанин К.И. Хит (К.О. Хис), лекции по истории государственного права читал профессор И.Е. Андреевский, по политической экономии – В.П. Безобразов, по русской словесности – Н.А. Соколов, по всеобщей истории – В.В. Бауэр, по физике и математике – Петр Павлович (морской офицер). Первые уроки рисования дает С. Никитин. Для проведения собеседований по истории и законоведению приглашался писатель Ф.М. Достоевский. Великий князь блестяще знал иностранные языки: французский, английский, немецкий, латинский, греческий, любил музыку и поэзию, хорошо рисовал. Ему близки были (как и отцу) взгляды славянофилов.
Великого князя воспитывали в духе православного христианства, и он отличался глубокой религиозностью. 23 марта 1876 г., когда ему было еще 17 лет, он записал в дневнике: «Я так люблю Господа, так мне хотелось бы изъявить Ему свою любовь. Тут внутренний голос говорит: “Занимайся астрономией, исполняй свой долг…” Неужели в астрономии долг? Ах, если б я был учеником Спасителя! Как бы я тогда ходил за Ним, как бы я хотел быть на месте ученика “его же любяще Иисус”, который возлежал у Его Груди. О, как бы я слушал все Его слова! Чего бы я не сделал для Него».
В дневниковых записях имеются многочисленные свидетельства набожности великого князя Константина Константиновича и стремления к самопожертвованию на общее благо Отечества. Так, например, в поденной записи от 6 ноября 1877 г. имеются по-юношески пылкие и в чем-то наивные искренние строки: «Высшая добродетель есть самопожертвование. Пример ее нам показал Христос Своей смертью… Быть может, когда мне удастся исполнить свое желание и я научусь жертвовать собой в пользу других, на том свете Господь вспомнит о моем старании подражать Ему и простит меня».
У Константина Константиновича периодически появлялось, как некоторым покажется, странное желание: уйти в монастырь, посвятить свою жизнь улучшению быта простого народа и духовенства. Вот еще одна запись из дневника великого князя от 10 сентября 1890 г.: «…Я давно уже, чуть ли не ребенком, мечтал когда-нибудь занять место Обер-прокурора Синода, чтобы послужить нашей Церкви и духовенству».
В своем поэтическом творчестве он часто обращается к Богу. Приведем одно из его самых эмоциональных стихотворений «Молитва» от 4 сентября 1886 г.
Служба в военно-морском флоте для великого князя началась в 1870 г. ежегодными плаваниями на судах Морского училища: «Громобое», «Пересвете», «Гиляке» и «Жемчуге». Практикой руководил начальник Морского училища контр-адмирал В.А. Римский-Корсаков (брат композитора Н.А. Римского-Корсакова). Пройдя службу от матроса до гардемарина (произведен в 1874 г.), Константин Константинович в 1875 г. отправился в дальнее плавание по Средиземному морю и Атлантическому океану на фрегате «Светлана», которым командовал его двоюродный брат, великий князь Алексей Александрович (1850–1908). Молодой гардемарин (или на флоте уменьшительно: гардик) Константин побывал на Мальте, в Неаполе и на Мадейре, посетил в Америке Норфолк и Нью-Йорк, через французский Брест и немецкий Киль вернулся в Кронштадт.
В августе 1876 г., после сдачи экзамена по Программе Морского училища в присутствии особой комиссии моряков-специалистов, Константина Константиновича в день 18-летия призвали в Зимний дворец, где он был произведен в первый офицерский морской чин мичмана. Вскоре после этого он должен был вновь отправиться в очередной поход. Фрегат «Светлана» 19 июня 1877 г. возвратился из дальнего плавания, а 4 июля 1877 г. Константин Константинович уже отбыл на театр военных действий начавшейся Русско-турецкой войны. В ночь на 3 октября 1877 г. на Дунае близ Силистрии великий князь Константин Константинович отличился – лично спустил брандер (зажигательное судно) против большого вооруженного турецкого парохода у острова Гоппо. Константин Константинович скептически относился к своим героическим действиям, что видно из его дневниковых записей. А дело было так! В конце третьего месяца пребывания в военном лагере его отправили на катере по ночному Дунаю для рекогносцировки местности. Молодой мичман заметил какие-то вспыхивающие на турецком берегу то тут, то там и тут же гаснущие огоньки. Бывалые моряки объяснили ему, что это по ним стреляют. Когда он вернулся, то командир поздравил его с боевым крещением. По этому случаю великий князь записал в большой растерянности в своем дневнике: «Я и теперь не могу верно определить, был ли я или не был под пулями». Читателям стоит напомнить, что по существовавшему установленному порядку, если член Императорской Фамилии находился в сфере огня неприятеля, то подлежал награде. Начальством был подан рапорт к соответствующему отличию участников операции. На этот раз Константин Константинович 4 октября записал в дневнике: «Что же, я не прочь получить награду, только бы не Георгия, это только унизит достоинство Креста». За проявленную храбрость 15 октября 1877 г. его наградили орденом Святого Георгия Победоносца 4-й степени, который ему вручил командир (впоследствии адмирал) Ф.В. Дубасов (1845–1912). Однако, по-видимому, это не принесло большой радости обладателю заветной боевой награды. В его дневнике от 15 октября читаем следующую запись: «Когда увидел белый крестик, внутренне сконфузился».
21 мая 1878 г. Константин Константинович получил очередной чин лейтенанта, а 9 августа того же года был пожалован званием флигель-адъютанта свиты императора Александра II. В этот памятный для него день молодой великий князь по-юношески откровенно записал в дневнике: «Я – флигель-адъютант, сегодня Государь пожаловал меня этим званием. Чего мне больше, за двадцать лет я получил все, чего может добиваться самый честолюбивый человек, даже Георгиевский крест есть у меня. Не знаю, как отблагодарить Господа Бога. Я прошу у Него только помощи и поддержки на честную и достойную жизнь».