Илья Николаевич был крупным общественным деятелем, беззаветно боровшимся с народной темнотой, с последствиями рабства, но он был сыном своей эпохи, и то, что так волновало его сыновей — Александра и Владимира, то, о чем говорил Чернышевский — характер реформы 1861 г., проведенной так, как того хотели помещики: выкупные платежи, отрезка у крестьян лучших земель, — меньше волновало его; для него Александр II оставался царем-освободителем. Ильич вспоминал, как волновался Илья Николаевич, когда пришла весть об убийстве Александра II, надел мундир и пошел в собор на панихиду. Ильичу было тогда только 11 лет, но такие события, как убийство Александра II, о котором все кругом говорили, которое все обсуждали, не могло не волновать и подростков. Ильич, по его словам, стал после этого внимательно вслушиваться во все политические разговоры.
Ильич читал все детские журналы и книги, которые присылали отцу, в том числе «Детское чтение». В детских журналах того времени еще много писалось об Америке (как известно, с 1861 по 1865 г. шла борьба Северных Штатов с Южными за уничтожение рабства негров в Южных Штатах; борьба шла в целях расчистки почвы для более широкого развития капитализма, но велась под флагом борьбы за свободу), писалось много о войне с Турцией, о Балканах. Брал также Ильич книги у старшего брата. Одноклассник Ильича Кузнецов вспоминает, что Ильич всегда писал очень хорошо сочинения по литературе. Когда Ильич учился в гимназии, там директором был Ф. М. Керенский (отец А. Ф. Керенского — эсера, премьер-министра Временного правительства в 1917 г.), он же преподавал и литературу. За все сочинения Керенский ставил Ильичу всегда пятерки. Но однажды, возвращая сочинение, он сказал Ильичу недовольным тоном: «О каких это угнетенных классах вы тут пишете, при чем это тут?» Ученики заинтересовались, сколько же поставил Ульянову за сочинение Керенский. Оказалось, все же пятерка стоит.
Семья Ульяновых была большая — шесть человек детей. Все они росли парами: старшие — Анна и Александр, потом Владимир и Ольга и, наконец, младшие — Дмитрий и Мария. Ильич очень дружил с Ольгой, в детстве играл с ней, позднее вместе читали они Маркса. В 1890 г. она поехала на Высшие женские курсы в Питер и умерла там весной 1891 г. от тифа.
Александр рос революционером и имел очень сильное влияние на Ильича. Старшие увлекались поэтами «Искры» — так называли себя поэты-чернышевцы (братья Курочкины, Минаев, Жулев и другие), которые особо резко высмеивали пережитки эпохи крепостничества в быту, в нравах, старались показать «все недостойное, подлое, злое» — бюрократизм, подхалимство, фразерство. Особенно много стихов поэтов «Искры», легальных и нелегальных, знала Анна Ильинична, сама писавшая стихи. Она помнила их всю жизнь, и в последние месяцы ее жизни, когда она была уже разбита параличом, придя со службы и садясь пить с ней чай, я обычно наводила разговор на поэтов «Искры», она всегда охотно говорила об этом, и меня всегда удивляла ее колоссальная память. Она помнила целый ряд любимых стихов тогдашней передовой интеллигенции. Меня удивило, когда мы были с Ильичем в ссылке в Сибири, какое количество стихов поэтов «Искры» он знал!
Обывательских сплетен, пустопорожней болтовни, которую так высмеивали поэты «Искры», не терпел Ильич, как и его старший брат — Александр. И когда к ним в комнату приходил кто-нибудь из многочисленных двоюродных братьев, у них была любимая фраза: «Осчастливьте нас своим отсутствием». Александр Ильич усиленно читал Писарева, который увлекал его своими статьями по естествознанию, в корне подрывавшими религиозные воззрения. Писарев тогда был запрещен. Читал Писарева усиленно и Владимир Ильич, когда ему было еще лет 14–15. Надо сказать, что даже Добролюбов в 1856 г. не порвал еще окончательно с религией, а Илья Николаевич так и остался верующим до конца жизни, несмотря на то что был преподавателем физики, метеорологом. Его волновало, что его сыновья перестают верить. Александр Ильич главным образом под влиянием Писарева перестал ходить в церковь. Анна Ильинична вспоминает, что одно время Илья Николаевич спрашивал за обедом Сашу: «Ты нынче ко всенощной пойдешь?», — тот отвечал кратко и твердо: «Нет». И вопросы эти перестали повторяться. А Ильич рассказывал, что, когда ему было лет 15, у отца раз сидел какой-то педагог, с которым Илья Николаевич говорил о том, что дети его плохо посещают церковь. Владимира Ильича, присутствовавшего при начале разговора, отец услал с каким-то поручением. И когда, выполнив его, Ильич проходил потом мимо, гость с улыбкой посмотрел на Ильича и сказал: «Сечь, сечь надо». Возмущенный Ильич решил порвать с религией, порвать окончательно; выбежав во двор, он сорвал с шеи крест, который носил еще, и бросил его на землю.