Вскоре последовал переезд в Петербург. Алёша оставался участником игр цесаревича и в Зимнем дворце, и в Царском Селе, и на Елагином острове. Всё чаще это были игры в войну с перестрелками и даже с залпами из крошечных пушек. Постигалась «наука парада» и отрабатывались ружейные приёмы. Впрочем, поэтически настроенному Алёше Толстому всё это уже было не по вкусу; маршировки не доставляли ему никакого удовольствия.
Для игр с цесаревичем Алёшу вывозили по воскресеньям, а в остальные дни, если судить по автобиографической поэме «Портрет» (зима 1872 — осень 1873), он был предоставлен самому себе. Анна Алексеевна Толстая занимала обширный дом возле Аничкова дворца, она постоянно выезжала в свет, и не удивительно, что о своём детстве поэт вспоминал такими словами:
Конечно, имело место и так называемое домашнее воспитание, но о своих наставниках Алёша был невысокого мнения:
В душе мечтательного отрока подспудно зарождалась тяга к прекрасному, как предчувствие собственного предназначения в жизни. Уже давала о себе знать и потребность любви. Не удивительно, что первым объектом её оказалась не женщина из плоти и крови, а живописное полотно, висящее на стене большого зала:
Тайком от взрослых мальчик проводил перед портретом долгие часы. Конечно, добром это кончиться не могло. Однажды ему показалось, что его подруга вышла из рамы, и они стали танцевать по залу. Галлюцинация закончилась продолжительным обмороком. Возможно, впервые проявил себя недуг, преследовавший А. К. Толстого всю жизнь и, в конце концов, сведший его в могилу.
Летом 1827 года Алексей Перовский, ставший к этому времени попечителем Харьковского учебного округа, испросил трёхмесячный отпуск и в сопровождении сестры и племянника отправился в Германию. С этой первой заграничной поездкой связано одно из самых сильных жизненных впечатлений Алексея Константиновича Толстого. В уже упомянутом письме Анджело Губернатису он вспоминал: «Во время нашего пребывания в Веймаре дядя повёл меня к Гёте, к которому я инстинктивно был проникнут глубочайшим уважением, ибо слышал, как о нём говорили все окружающие. От этого посещения в памяти моей остались величественные черты Гёте и то, что я сидел у него на коленях».