Сохранилась их свадебная фотография. Марию Ульянову можно назвать довольно интересной женщиной, — в ней было что-то значительное. Не худенькая, с высокой талией; на ней вышитое платье. Особой красотой она не отличалась, — женщины ее типа становятся красивыми с годами. В ее лице читаются упорство, живой ум и веселый нрав. Видно, что она была человеком с сильным характером и при случае могла постоять за себя, чего бы это ей ни стоило. В отличие от Марии облик Ильи Ульянова говорит лишь о его добродушии и мягкости характера. У него уже заметны сильные залысины, он гладко выбрит; лицо плоское, глубоко посаженные глаза, широкий нос, большой, добрый рот. Он смотрит на мир с ласковым удивлением и интересом, и еще — с великодушием и снисходительностью. Это был человек абсолютно достойный, тонкий, мыслящий, временами импульсивный, подверженный резким сменам в настроении. Такими бывают молодые священники или настоящие педагоги, по призванию своему решившие отдать всю жизнь делу воспитания юных поколений. Помимо этой свадебной фотографии сохранились еще несколько его портретов. Но здесь он уже отрастил бороду; волосы на голове зачесаны назад так, что лоб его кажется неестественно большим и странно непропорциональным, и это вместе с большой седеющей бородой придает его лицу выражение дикой исступленности, что было совершенно несвойственно его натуре.
С легкой руки Веретенниковых брак получился счастливый. Илья Николаевич называл свою жену на английский манер — Мэри или Мери, что тогда было в моде; такое звучание ему больше нравилось, чем имя «Мария», которым она была крещена. До последнего дня его жизни она любила его беззаветной любовью, и даже в какой-то степени преклонялась перед ним. В нем было столько нежности, великодушия и терпения.
Его женитьба совпала с новым назначением. Он был переведен в Нижний Новгород, значительно более крупный и колоритный, нежели Пенза. Супруги поселились во флигеле при гимназии. Их жизнь протекала в покое и комфорте, как и подобало в те времена жить семье, принадлежавшей к средней буржуазии. Вечерами они собирались в гостиной и пели под аккомпанемент на рояле или играли в карты; посещали театр, ходили в гости к коллегам, принимали их у себя. Мария заботилась о муже, занималась пением, ухаживала за цветами в саду, активно участвовала в жизни местного общества, — словом, полностью реализовала себя. Единственное, что омрачало ее существование, — она скучала без мужа, когда ему приходилось по выходным дням отлучаться из дома, чтобы подтянуть по своему предмету какого-нибудь неуспевающего ученика. Это было спокойное, размеренное существование. В Москве или в Петербурге такой образ жизни сочли бы безнадежно провинциальным. Так оно и было, но в России больше, чем в любой другой стране, провинция служила той сокровищницей, из которой вышли лучшие умы и таланты. Пишущая братия могла сколько угодно рассуждать о невыносимой скуке провинциальной жизни, но на самом деле в крупных губернских центрах зрела интеллектуальная мощь, кипела своя культурная жизнь. Илья Николаевич прекрасно сознавал, что как педагог он обязан всячески развивать и поощрять культурные начинания в своем городе. Постепенно он стал проявлять большие способности в административной деятельности. Это было отмечено, и местное начальство решило подыскать ему должность, где его таланты могли бы проявиться в полную меру.
От брака Марии и Ильи Ульяновых родилось шестеро детей. В 1864 году родилась Анна, двумя годами позже — Александр. Затем в течение четырех лет у них детей не было, после чего на свет появился Владимир, а вслед за ним — Ольга, в 1871 году, и Дмитрий — в 1874-м. Снова четырехлетний перерыв, и появляется еще одна дочь, Мария. Младенец Николай, родившийся в 1873 году, прожил всего несколько недель. Доведись Илье Николаевичу, верному слуге царя-государя, узнать, что все оставшиеся в живых дети уйдут в революцию, он бы неминуемо сошел с ума.