Степан Яковлевич энергично начал обустраивать быт семьи. Он снял в богатом районе города Сололаках просторную квартиру с электрическим освещением (что по тем временам было редкостью) в доме инженера Мирзоева на Сергиевской улице. В двух подъездах этого дома дежурили швейцары. Дом углом выходил на две живописные, заросшие буйной зеленью улицы. В комнатах стояли старинные печи, отделанные изразцовыми плитками с замысловатыми рисунками.
Степан Яковлевич, чтобы иметь дополнительный заработок, устроился в Российское страховое общество, которое располагалось неподалеку от дома по улице Сергиевской.
Митя Гумилёв пошел в шестой класс 2-й Тифлисской гимназии. Двоечник Коля вынужден был второй раз поступать в четвертый класс, но это его мало огорчало. Он был рад, что попал в необыкновенную обстановку. Тифлис совсем не походил ни на один город, где он бывал или жил раньше. Юный Гумилёв привык к равнинным ландшафтам, а тут — величественные горные пейзажи. Город располагался в котловине, с трех сторон окруженной горами: с запада видны были гора Ишитутрук (Святого Давида), с востока — Махатский хребет, с юга — Сололакский. Вскоре Коля уже знал, что к северу от Тифлиса расположен Кавказский хребет со знаменитой снежной вершиной Эльбрус, горой Казбек, а к северо-западу тянулся Сурамский хребет. В 275 верстах от города высились библейские вершины Арарата. Четырнадцатилетний Гумилёв заслушивался говором быстрой Куры, протекающей среди скалистых берегов. Кто знает, какие песни напевала ему бурная вода знаменитой реки поэтов! Живописны были многочисленные мосты, казалось, скреплявшие разъезжающиеся берега. Михайловский арочный мост называли еще и Воронцовским, так как возле него находилась бронзовая скульптура князя М. С. Воронцова, отлитая петербургским профессором Пименовым и его учеником Крейганом. Один из мостов построил на свои деньги купец Мнацаканов.
Однажды Коле показали большой чугунный крест в предместье Тифлиса Вере, воздвигнутый в 1846 году в память избавления от опасности Государя Николая Павловича. А дело было так. В 1837 году, когда Государь ехал из Тифлиса во Владикавказ, его коляска опрокинулась на крутом спуске в начале Военно-Грузинской дороги, но никто не пострадал. На кресте Гумилёв разглядел изображение всевидящего ока и прочитал надпись: «Живый в помощи Вышняго в крове Бога небесного водворится. 2 октября 1837 г.».
Тифлис состоял из совершенно не похожих друг на друга частей. Гумилёвы жили в новой части, европейской, где тянулись длинные прямые улицы с большими зданиями новейшей архитектуры. Здесь красовался Головинский проспект с административными зданиями, красивыми магазинами. Начинался проспект с Разгонной почты, где стояли почтовые экипажи. Рядом с Разгонной почтой находилось новое здание телеграфа, а на левой стороне — кадетский корпус, об учебе в котором мечтал брат Коли Митя, уже решивший, что станет военным. На правой стороне Головинского проспекта стоял дворец наместника края и Военный собор, заложенный 16 апреля 1870 года в честь окончания Кавказской войны. Головинский проспект был самым красивым и оживленным в городе.
Вторая Его Императорского Высочества Великого князя Михаила Николаевича гимназия, куда пошли учиться мальчики Гумилёвы, располагалась на Великокняжеской улице в доме 32. Открылась она в 1881 году. Но через полгода отец решил перевести обоих сыновей в другую, так как ему не понравились взаимоотношения учителей и учеников в этом учебном заведении. Братья стали ходить в старую 1-ю мужскую гимназию, что на правой стороне Головинского проспекта неподалеку от Военного собора.
Старый город привлекал юного Гумилёва азиатской причудливостью узких и кривых улочек, ныряющих в ущелья и неожиданно появлявшихся бог весть откуда! Он располагался недалеко от шумного, многолюдного армянского базара.
Город был очень зеленым, почти при каждом доме находились сады, а предместья Вера и Ортачалы утопали во фруктовых деревьях. В самое лучшее время года в сентябре-октябре, когда город нежился в теплых и мягких лучах осеннего южного солнца, в садах Веры звучала национальная музыка «дудуки» и «зурны», гремели духовые оркестры, дымился и шипел грузинский шашлык. Особенно много гуляющих было в центре города в Александровском саду (расположенном между Головинским проспектом, Барятинской и Александровской улицами), где возле бассейна стоял памятник Н. В. Гоголю работы местного скульптора Ходоровича. Этот же автор соорудил небольшой бюст А. С. Пушкина, который установили в сквере на Эриванской площади.