К несчастью в семье Марии, старшей сестры, произошла беда, ее муж, Николай Захарович, осенью 1853 попал в жестокий шторм, сильно простудился и умер от горячки в возрасте 39 лет. Вдова, Мария Николаевна, продолжала воспитывать сирот: двух пасынков и двух родных сыновей, Ивана и Степана. Жила она в небольшом деревянном домике. Он стоил всего двадцать рублей. В налоговой раскладочной ведомости за 1872 год было записано, что «дом вдовы Марии Горшковой по малоценности налогу не подлежит». Василию вновь пришлось изыскивать средства, чтобы оказывать помощь и семье своей сестры. По сути дела на его иждивении находилось восемь человек. Ему было уже 34 года, и пора было заводить свою семью, но не было у него ни сил, не времени, ни средств на нее. Он откладывал и откладывал этот шаг, надеясь на наступление лучших времен.
В Казанском университете среди дисциплин видное место занимала математика. Кумиром казанских студентов был Николай Иванович Лобачевский (1793—1856), знаменитый математик, создатель неэвклидовой геометрии, мыслитель и материалист. В Казанском университете он был магистром, профессором с 25-летнего возраста, деканом факультета и ректором. В 1854 году Ульянов окончил университет, получив степень кандидата математических наук за предоставленную им письменную работу на тему «О способе Ольберса и его применение к определению орбиты кометы Клинкерфюса».
Однако кандидат математических наук Ульянов все еще числился в официальных бумагах мещанином. Ульянову как выходцу из мещан необходимо было получить свидетельство Астраханской казенной палаты об исключении его из мещанского сословия. Последовала переписка с Астраханским мещанским обществом. В ноябре 1854 года пришло свидетельство: «Астраханского мещанина Илью Николаевича Ульянова, окончившего в Казанском университете курс наук и уволенного обществом с обязательством платить за него все подати и повинности до 10-й ревизии, исключить из астраханских мещан с начала будущего 1855 года и о том предписать городской думе и уездному казначейству». И только тогда попечитель учебного округа утвердил представление совета университета о выпуске И. Н. Ульянова со степенью кандидата. 13 декабря ректор и декан подписали кандидатский диплом.
7 мая 1855 года Илья Николаевич, уже выдержавший необходимые обязательные экзамены на звание старшего преподавателя, был назначен в пензенский Дворянский институт. 31 мая 1855 года Лобачевский уведомил пензенского директора, что «кандидат Казанского университета Илья Ульянов, получив из канцелярии попечителя подорожную по казенной надобности, отправился к месту служения 28 сего мая». Илья Николаевич Ульянов с 1855 по 1863 годы служил старшим преподавателем физики и математики в Пензенском дворянском институте. Кроме того, по указанию Н.И. Лобачевского он проводил постоянные метеорологические наблюдения, заведовал фундаментальной библиотекой и вел уроки в воскресной школе. В эти годы Илья Николаевич написал работы «О грозе и громоотводах», «О пользе метеорологических наблюдений и некоторые выводы из них для Пензы». В Пензе он жил на квартире у своего близкого друга - учителя В.И.Захарова, у которого в то время проживали также воспитанники Пензенской гимназии Н.А.Ишутин и Д.В.Каракозов.
В отчете «О состоянии института» за 1858 год, в числе четырех учителей, упоминается И. Н. Ульянов, как выделившийся по способностям и успехам в преподавании. Кроме того, в том же 1858 году он получил за «усердие в преподавании» денежную награду в 150 рублей. Ревизией сенатора Сафонова в 1859 году И. Н. Ульянов отмечен за отличное ведение своего дела.
Летом 1861 года в Пензу прибыл новый инспектор института Иван Дмитриевич Веретенников. Поселился он с семьей, как и его предшественники, в служебной квартире на первом этаже. Держался просто и сердечно. Он познакомил коллег с женой, Анной Александровной Бланк, женщиной общительной и жизнерадостной. Она увлекалась литературой, писала стихи, хорошо знала немецкий и французский языки, свободно читала по-английски. Сестру в Пензе навестила младшая сестра Мария Александровна. К Веретенниковым зачистили молодые педагоги. В ноябре 1861 года Мария Бланк, потомственная дворянка, познакомилась с учителем физики и математики Ильей Николаевичем Ульяновым. В 1861-1862 годах Мария Бланк неоднократно бывала в Пензе. Весной 1863 года состоялась помолвка Марии и Ильи.
В 1863 году Илья Николаевич обратился к своему бывшему учителю Астраханской гимназии Тимофееву, который к тому времени был директором училищ в Нижнем Новгороде, с просьбой помочь перебраться в Нижний Новгород и устроиться работать в губернской мужской гимназии. В том же году Мария Бланк решила экстерном сдать экзамены на звание учительницы начальных школ. Илья Николаевич помогал во время подготовки. Экзамены Мария сдала успешно. Сохранилось свидетельство, выданное дирекцией самарских училищ. В нем говорится: «Дано сие дочери Надворного Советника девице Марье Бланк в том, что вследствие поданного ею прошения о желании получить право на первоначальное обучение чтению и письму по Русски, Немецки и по Французски, она была допущена к испытанию в Самарской Гимназии и оказала в Законе Божием, Русском языке, Арифметике, Немецком и Французском языке вполне удовлетворительные сведения. А потому ей, Бланк, и дано право на преподавание вышеупомянутых предметов...». Из Самары Маша отправилась в Кокушкино. В метрической книге по Лаишевскому уезду Казанской губернии за август 1863 г. содержится запись о том, что «25 августа старший учитель Нижегородской гимназии Илья Николаевич Ульянов, 32 лет, православного вероисповедания и дочь надворного советника Александра Дмитриевича г-на Бланка Мария Алек¬сандровна Бланк, 28 лет, православного вероисповедания венчались первым браком». Но «медовый месяц» оказался слишком коротким. 7 сентября там же, в Кокуш¬кино, скончалась крестная мать и воспитательница Марии Александровны Екатерина Ивановна фон Эссен. А через несколько дней молодые уже поднимались пароходом по Волге в Нижний Новгород.
В 1871 г. умерла мать Ильи Николаевича. В Астраханском государственном архиве была обнаружена метрическая книга астраханской Гостино-Николаевской церкви, в ней имеется такая запись: «Вдова, астраханская мещанка Анна Алексеевна Ульянова. Дата смерти — 26 октября 1871 года. Возраст — 83 года. Причина смерти — от древности». Запись подписали протоиерей Николай Ливанов и дьякон Михаил Рувимов. На ее могильном камне высечены слова: «Анна Алексеевна Ульянова скончалась 28 октября 1871 года, от роду 87 лет».
Через 6 лет, в 1877 г., умерла сестра Ильи Николаевича — Мария Николаевна Горшкова. А еще через год скончался брат Ильи Николаевича, которому он многим был обязан. Василий долго болел, носил черную ленту, повязанную на голове. Говорил, чтобы не надуло уши. В записи церкви сообщается: «Астраханский мещанин Василий Николаевич Ульянов. Дата смерти — 12 апреля 1878 года, погребения — 14 апреля 1878 года. Возраст — 55 лет. Умер от чахотки». Василий Ульянов был похоронен на астраханском Духосошественском кладбище. Заведующий Астраханским городским архивным бюро П.И. Усачев писал в своих заметках: «Когда Василий Николаевич умер, то фирма Сапожниковых на склепе Ульяновых соорудила памятник. Памятник этот, хотя и сохранился, но весь разбит». На могильном камне еще видны буквы: «Здесь покоится прах астраханского мещанина Василии Николаевича Ульянова, скончавшегося 12 апреля в 4 часа пополудни 1878 года. Жития ему было 60 лет». Данные о возрасте Анны Алексеевны и Василия Николаевича Ульянова в метрической книге и на памятнике расходятся. Следуя выпискам из ревизионных сказок о рождении Василия и свадьбы Анны Алексеевны с Николаем Никитичем, принимаем за достоверные надписи на памятниках. (1788 – 1871 для Анны Алексеевны и 1819 - 1878 для Василия Николаевича). Чем были вызваны такие расхождения, сказать трудно.