В детстве он рос живым и подвижным ребёнком, но довольно быстро утомлялся. Педагоги также замечали его тонкую чувствительность, быструю возбудимость и впечатлительность. С ранних лет у него появились и какие-то проблемы с позвоночником. Болезнь приведёт к необходимости носить корсет, отчего фигура Сергея стала выглядеть несколько скованной, а в движениях появилась резкость. Злые языки тут же воспользовались поводом посудачить об «ужимках» Великого князя, а постоянную прямоту его осанки и вовсе заклеймили как нарочитую надменность.
Не довольствуясь подобными инсинуациями, недоброжелатели позднее выдвинут тезис об интеллектуальной ограниченности Сергея Александровича, что уже не имело под собой вообще никакой почвы. На самом деле полученное им образование можно смело назвать блестящим. Более того, в последовавшие за войной годы он продолжал расширять свой кругозор: посещал научные собрания, много читал. «Он был удивительно начитанным и человеком очень высокой культуры», — отмечал его шурин, Великий герцог Гессенский Эрнест Людвиг. Иногда Сергей приглашал интересного собеседника к себе и вместе с гостями слушал познавательные лекции.
Как видим, Сергей не был человеком «не от мира сего», но его отношения с той жизнью, которая постоянно окружала, складывались непросто. С юных лет положение в обществе давало ему массу преимуществ, жизнь предлагала множество удовольствий, а блистательный Петербург был готов удовлетворить любую его прихоть. Однако то, что другим представлялось вершиной счастья, в глазах Великого князя выглядело пустым и ненужным. Нет, будучи молодым, он не отказывался от увеселений: посещал балы, праздники, светские вечера. Его часто тянуло в театр, и вместе со всеми он восхищался несравненным голосом Аделины Патти, звезды итальянской оперы, гастролировавшей в России. Зимой Сергея можно было встретить на катке Таврического сада, куда, сам увлёкшись коньками, он постепенно заманил и товарищей. И вместе с тем во всех подобных развлечениях его душа не находила себе места. «Отчего я всё чувствую так глубоко? Отчего я не таков, как все другие, не весел, как все? — сокрушался он в письме другу Константину. — Я до глупости углубляюсь во всё и вижу иначе — мне самому совестно, что я до того старообразен и не могу быть как вся “золотая молодёжь” весел и беспечен». Мир Сергея Александровича, не «старообразный», а высокоинтеллектуальный и глубоко духовный, наполняли совсем иные пристрастия — русская история, мировая культура, умные собеседники, познавательные книги.
Живой интерес Великого князя всегда вызывала художественная литература, в которой предпочтение отдавалось русской классике. Пушкин, Лермонтов, недавно скончавшийся Тютчев — вот его любимые авторы. С юношеских лет сохранилось и серьёзное увлечение европейской поэзией, в первую очередь творчеством Данте Алигьери. Изучение английского языка способствовало более глубокому пониманию Сергеем драматургии Шекспира, а занятия немецким — восхищению стихами Гейне и Гёте. Из современников Великий князь высоко ценил Апухтина, Майкова, Фета. С последним он был лично знаком, сам же поэт, глубоко уважая Сергея Александровича, всегда считал за честь нанести Его Высочеству визит и с радостью подарил Августейшему читателю свой новый сборник «Вечерние огни». Заезжал к Великому князю, почтительно расписываясь в книге посетителей, и прозаик Иван Гончаров, с которым Сергея познакомил кузен Константин.
Сергей Александрович высоко ценил творчество Льва Толстого, с удовольствием прочитав «Севастопольские рассказы» и «Войну и мир». Но Толстой-проповедник вызывал у него раздражение: отрицание графом исторических русских ценностей, посягательство на Православную церковь, жёсткая критика властей, будоражащая умы, — всё это, по мнению Великого князя, играло на руку врагам России.
К произведениям другого властителя дум — Фёдора Михайловича Достоевского — Сергей относился с нескрываемым восхищением. В Царской семье он стал настоящим первооткрывателем писателя, рекомендуя его книги близким. Завораживающий мир героев, острота затрагиваемых автором проблем и поднимаемые им вопросы христианской морали волнуют душу юного Сергея. И вдруг настоящий подарок судьбы — он может встретиться и побеседовать с любимым писателем! Этим счастьем Великий князь был обязан своему наставнику, который в марте 1878 года обратился к Достоевскому с письменной просьбой провести беседу с младшими сыновьями императора. По мнению Арсеньева, такое общение способствовало бы дальнейшему нравственному совершенствованию Сергея и Павла Александровичей. Писатель принял приглашение, и Великий князь смог, наконец, познакомиться с автором «Белых ночей», «Идиота», «Бесов», «Преступления и наказания».