Л. Васильева даже нашла по фотографиям внешнее большое сходство между Каракозовым и Александром Ульяновым. Но документы это не подтверждают. Секретарь Верховного Суда Есипович в своем очерке «Д.В.Каракозов в равелине» записал: «худой, белокурый, среднего роста, с прелестными серо – голубыми мягкими глазами, с немного впавшими щеками, с чахоточным румянцем». Словесный портрет Александра Ульянова составил его современник, деятель революционного движения В.Бартенев в книге «Воспоминания петербуржца о второй половине 1880 – х годов»: «Он весь вечер просидел, молча, задумчиво глядя своими большими темными глазами. Я очень живо помню его лицо: матовой белизны, немного широкоскулое, всегда спокойное и серьезное, шапка черных, слегка вьющихся волос на голове». Как следует из описаний современников, они друг на друга похожи не были.
Симбирск. Летом 1869 г. министерство просвещения учредило институт инспекторов народных училищ. Стали назначаться губернские инспектора народных училищ, одному из первых эту службу предложили И.Н.Ульянову. Он согласился. Предстоял переезд в Симбирск, к месту новой службы. В те дни, когда ожидалось окончательное решение начальства, скончалась годовалая дочка Оленька, третий ребенок в семье Ильи и Марии.
22 сентября 1869 г. директор гимназии доложил попечителю Казанского учебного округа, что «коллежский советник Илья Николаевич Ульянов отправился к месту своего нового служения в Симбирск». А через два дня Илья Николаевич, Мария Александровна, пятилетняя Аня и трехлетний Саша увидели город на высоком правом берегу Волги. В губернском центре проживало тогда около 27 тысяч человек. Инспектор должен был контролировать правильную постановку учебного процесса, в школах, содержащихся за счет местных бюджетов. Но кроме этого инспектор должен был содействовать развитию местных школ. Ему приходилось ходатайствовать перед земством об открытии новых школ, готовить и подбирать достойных учителей начальных школ, следить за хозяйственным состоянием школьных учреждений, способствовать развитию общественного мнения в пользу народного образования. К весне 1870 г. Илья Николаевич имел достаточно полное представление о состоянии народного образования в губернии. За полгода работы он осмотрел немало школ, тщательно изучил отчеты и ведомости училищных советов за 1869 г. И определил для себя первоочередные проблемы.
В 1869 г. в Симбирской губернии числилось 462 народных училища с количеством учащихся свыше 10 тыс. человек, из них не более 90 соответствовали норме, остальные пребывали в жалком состоянии или числились только на бумаге.
Осенью 1871 г. Ульяновы сменили квартиру. Второй этаж дома вдовы дьякона Прибыловской, куда семья переехала из тесного флигеля после рождения Володи, тоже оказался жильем не вполне приемлемым. И как только освободилась просторная квартира на втором этаже соседнего дома — Жарковой, Ульяновы перебрались туда. На нижнем этаже снимала квартиру акушерка Анна Дмитриевна Ильина, она принимала Володю, а 4 ноября 1871 г. она первой поздравила Ульяновых с рождением дочери, которую в память о скончавшейся в 1869 г. дочери назвали Оленькой. А в 1873 г. умер через несколько дней после рождения шестой ребенок – Коля. В 1874 г. родился мальчик, назвали Дмитрием, а в 1878 г. – девочка, Мария, восьмой ребенок.
Старшие дети начали подготовку к гимназии. Илья Николаевич с осени 1873 г. пригласил для занятий учителя приходского училища Василия Андреевича Калашникова, молодого, но талантливого педагога. В 1875 г. Ульяновы переселились на улицу Московскую (ныне Ленина), где и прожили до самого отъезда из Симбирска. Здесь, на Московской улице, Ульяновы поселились сначала в доме Костеркина. «Это был дом с обширными высокими залой и гостиной, с тесными и неудобными домашними комнатами, отчасти ютившимися на антресолях, с холодной кухней в подвале и длинным коридором. Помещение, больше приспособленное для помещичьих домов, а не для такой семьи, как наша», - писала А.И.Ульянова-Елизарова. По этой причине перед Ульяновыми вновь встала проблема поиска квартиры. Но и следующая квартира была для них временной. Она располагалась в соседнем доме. «Следующую зиму (1876 - 1877) мы жили в квартире Анаксагорова. В этом доме, тремя окнами на улицу, комнаты были расположены, так сказать, "за круговым поручительством", то есть из одной комнаты в другую, так что если отца не было дома, и его кабинет не был затворен, можно было бегать кругом всего дома, что очень любили малыши», - вспоминала Анна Ильинична. В этом доме начал подготовку к гимназии Владимир. Как и со старшими, Анной и Александром, с ним занимался учитель Калашников. С 1877 по 1878 гг. семья Ульяновых проживала на соседней улице Покровской. Это последняя частная квартира Ульяновых оказалась очень сырой. Родившаяся здесь Маняша очень часто болела. Поэтому Ульяновы торопились с покупкой дома.
В августе 1878 г. в жизни семьи произошло важное событие — Ульяновы переехали в собственный дом. Почти девять лет они снимали помещения в частных домах. Меняли жилье шесть раз. Казенной квартиры директору народных училищ не полагалось. Ульяновы давно хотели обзавестись своим домом, но не было средств. Семья росла, вместе с ней росли и расходы, а жили на одно лишь жалованье Ильи Николаевича. Переезд в свой собственный дом-усадьбу стал для семьи настоящим праздником. Дом был куплен за 4 тыс. рублей и записан на Марию Александровну. Из воспоминаний старшей дочери Анны: «Отец купил дом на Московской улице, в котором мы жили до 1887 г. При нем был большой зеленый двор и молодой, но довольно обширный садик, большей частью фруктовый, Все место тянулось на целый квартал, и калитка в заборе сада давала возможность выйти на следующую Покровскую улицу. Окраинные, заросшие сильно травой улицы, прелестный цветник, которым заведовала мать, изобилие ягод и плодов, а также близость реки Свияги, куда мы ходили ежедневно купаться, делали этот уголок недурным летним местопребыванием. Мы подолгу гуляли в теплые летние вечера или сидели на увитой цветами терраске, а в особо душные ночи вытаскивали на нее матрацы и спали на ней». Кроме надворных построек - конюшни, каретника, бани и т.д., при доме был небольшой флигель.
Старшие трое имели по своей комнате, матери помогала кухарка; была в семье няня Варвара Григорьевна, а для хозяйственных работ (уборка снега, распиловка дров) нанимались работники. В небольшой гостиной семья проводила часы отдыха. Здесь же принимали гостей. Как правило, это были сослуживцы Ильи Николаевича, его единомышленники: Арсений Федорович Белокрысенко, человек широких демократических взглядов, оказывающий большую поддержку народному образованию; Иван Яковлевич Яковлев, чувашский просветитель; Вера Васильевна Кашкадамова, воспитанница педагогических курсов И.Н.Ульянова, талантливый педагог; Иван Сидорович Покровский, домашний доктор Ульяновых и многие другие. Завершала подготовку Володи и Ольги к гимназии Вера Павловна Прушакевич. Дети Ульяновых, каждый в свое время, поступали в гимназии: мальчики в Симбирскую классическую гимназию, а девочки – в Мариинскую женскую гимназию.
В 1880 г., когда Анне не было еще шестнадцати лет, она, единственная из выпуска женской гимназии, состоявшей в ведомстве императрицы Марии, получила большую серебряную медаль. Аня по примеру отца хотела стать народной учительницей. Но юный возраст был тому помехой. И лишь через год после окончания гимназии она получила место помощницы учительницы в одной из начальных школ Симбирска.
В 1882 г. Илья Николаевич был награжден орденом св. Владимира 3-й степени, что давало право на потомственное дворянство. Это пожалование, в силу изменения правил в 1874 г, делало де-юре потомственным дворянином и Владимира, хотя он не был старшим сыном и родился до пожалования потомственного дворянства отцу.
В 1883 г. окончив Симбирскую гимназию с золотой медалью, Александр поступил на естественный факультет Петербургского университета, где блестяще учился (на 3-м курсе получил золотую медаль за самостоятельную работу по зоологии). Следом за братом в столицу уехала Аня. Она поступила на Высшие женские Бестужевские курсы. В 1885 г. Ольга завоевала право на получение стипендии, одну из немногих в женской гимназии, и тем самым освободила родителей от платы за свое обучение в размере 45 рублей в год.