После войны Рагулины вернулись в Москву и жили во Фрунзенском районе. Здесь же пошли в школу № 51. А спустя какое-то время родители определили детей еще в одно учебное заведение — в музыкальную школу. Саша учился по классу контрабаса, Толя — фортепиано, Миша — виолончели. Плюс все трое еще дополнительно занимались на скрипке. Мальчики мечтали стать великими музыкантами, и учителя в «музыкалке» всерьез говорили, что из них может действительно получиться великолепное трио. Однако тогда помимо музыки и живописи (еще одного увлечения братьев Рагулиных) они еще много времени уделяли спорту. Причем одинаково хорошо играли и в хоккей, и в футбол. Родители этому увлечению не препятствовали, поскольку были уверены, что музыка все равно перевесит, а спорт необходим для физического здоровья. Но братья Рагулины все сильнее увлекались хоккеем и стали играть за школьную команду, выступая в ней на первенстве Москвы. Товарищи по команде в шутку называли их МТС — машинно-тракторная станция — за их габариты и неуемную энергию на льду. В итоге на них обратил внимание знаменитый тренер подмосковного «Химика» Николай Эпштейн и привлек в свою команду. Александр стал защитником, Михаил — нападающим, а Анатолий встал в ворота.
Из трех братьев Рагулиных наиболее мощно выступал Александр, который быстро обратил на себя внимание других тренеров. Например, Анатолия Тарасова из ЦСКА. И в 1962 году Рагулин оказался в этом прославленном клубе, а чуть раньше его призвали под знамена национальной сборной — в конце 1960 года. Правда, дебют молодого хоккеиста едва не закончился провалом. Рагулин играл против сборной Канады, и в середине игры у него сломалось лезвие на одном коньке. Говорить об этом Рагулин никому не стал, поскольку запасных коньков тогда не было и его бы сразу усадили на скамейку запасных. Поэтому играл на одном коньке, не выходя из своей зоны и действуя не слишком изобретательно — как только получал шайбу, тут же отправлял ее подальше от своих ворот. В итоге никто ничего не заметил. И хотя за ту игру Рагулина не хвалили, но в сборной и в ЦСКА оставили.
В январе 1961 года наш герой в составе сборной СССР отправился в товарищеское турне по Швеции. Были сыграны два матча против сборной Швеции, однако Рагулина выставили лишь в одной — последней. Он играл в паре с Александром Трегубовым во втором и третьем звене. Наши победили 3:2.
Спустя два месяца Рагулин отправился с национальной сборной на свой первый чемпионат мира — в Лозанне. Играл в паре со своим одноклубником по ЦСКА Генрихом Сидоренковым. И уже в первой же игре — против сборной США — забил свой первый гол. Больше на том чемпионате Рагулин не забивал. Впрочем, золотая эпоха советского хоккея тогда еще не наступила, поэтому наша сборная заняла в Швецарии всего лишь 3-е место. В следующем году сборная СССР в чемпионате мира не участвовала по причинам политического характера.
Помимо хоккея Александр в те годы успевал еще учиться в Московском областном педагогическом институте, который в те годы был четвертым в мире после Кембриджа, Оксфорда и Гарварда по числу учившихся там чемпионов мира и Олимпийских игр. Рагулин учился старательно, особенно любил анатомию и физиологию.
Рагулин практически сразу вошел в число лучших игроков советского, а затем и мирового хоккея. Обладая богатырским телосложением — рост 185 см, вес 105 кг, — он не строил свою игру лишь на силовом единоборстве и выполнении чисто разрушительных функций. Отличное видение поля, отточенная техника, невозмутимость и рассудительность позволяли ему быть истинным конструктором игры. Овладев шайбой, он моментально точнейшим пасом направлял в атаку партнеров. А сильнейший бросок с синей линии позволял Рагулину нередко добиваться успеха и самому.
В ЦСКА при Анатолии Тарасове тренировки были чрезвычайно изнурительными, но Рагулин всегда подходил к ним творчески — без нужды себя никогда не перегружал. В спортзале, где его товарищи по команде наращивали мышечную массу, тягали штанги, приседали по 100 раз с 20-килограммовыми дисками, он нашел один, 12-килограммовый, и с ним занимался. Все хоккеисты знали, что это «блин Палыча», и не трогали его. К слову, уважительное прозвище Сан Палыч ему придумал лично Тарасов. Рагулина действительно все уважали за его силу и невозмутимость, причем не только товарищи по команде, но и соперники. Последние в играх против ЦСКА всегда старались как можно меньше соприкасаться с Рагулиным, который высился перед своими воротами будто неприступная скала. Достаточно сказать, что, когда ЦСКА тренировался под открытым небом в Архангельском, Рагулин со всего разбега врезался плечом в сосну и после этих ударов шишки сыпались с дерева как град.