В свою очередь, Лебедев в воспоминаниях, написанных позднее по просьбе Чернышевского, отмечает, что Добролюбов всегда стремился оказывать идейное влияние на своих бывших однокашников в Нижнем.
Когда у Добролюбова не было гостей, он возился с братьями, читал им, рассказывал о Петербурге. Любили разговаривать с ним и старшие 13-летние сестры — Антонина и Анна. Они были близнецы, но первая, более развитая и рослая, считалась теперь хозяйкой дома.
Много времени уходило и на разговоры с отцом: Александр Иванович Любил подробно излагать нижегородские новости: он постоянно жаловался на тяжелую жизнь и самодурство «преосвященного» Иеремии, притеснявшего духовенство. В один из таких разговоров Добролюбов услышал от отца слова, которые его поразили: отец признался в своих сомнениях относительно религии. Добролюбов заметил его «горькое колебание» и навсегда запомнил этот разговор; можно наверное сказать, что он не прошел бесследно для него, человека, стоявшего на пороге полного освобождения от религиозных представлений.
Времени для занятий, о которых мечтал. Добролюбов, собираясь ехать домой, совсем не оставалось, и за целый месяц он с трудом успел прочитать лишь несколько номеров «Современника».
Каникулы шли к концу, когда в семье Добролюбовых случилось новое несчастье: 6 августа утром, почти внезапно, умер, Александр Иванович. Ему было всего 42 года. Еще накануне вечером он служил всенощную, а ночью у него появились первые признаки холеры; болезнь продолжалась не больше 10–12 часов.
Нелегко было Добролюбову перенести этот новый удар. Неожиданно он оказался теперь главой огромной семьи: на его руках осталось семеро детей. Вдобавок дела по дому были запущены, у отца остались большие долги. И нет ничего удивительного в том, что сначала у сына опустились руки. Он испытал острое чувство озлобления против несправедливой судьбы: «судьба жестоко испытывает меня и ожесточает против всего, лишая того, что мне было дорого в мире».
В эти дни особенное его негодование вызвало нижегородское духовенство. В то время как многие знакомые, любившие Александра Ивановича, приняли самое горячее участие в делах осиротевшей семьи, духовное начальство покойного повело себя весьма неприглядным образом. «Подличает с нами одно только духовенство и архиерей», — писал Добролюбов Щеглову. «Ерема» теперь полностью обнаружил свою двуличную природу. И впоследствии он также пытался делать гадости сыну своего умершего сослуживца по епархии.
На похоронах Добролюбов не проронил ни одной слезы и был, по его собственным словам, «страшно зол». Да и как было не злиться! Он разругал дьяконов, которые громко хохотали, неся гроб его отца. Потом он сказал резкие слова одному священнику, своему бывшему семинарскому профессору, который произнёс глубоко возмутившую его речь; оратор уверял в ней: бог знает, что делает, он любит сирот, и прочее.
Кажется, эта речь и переполнила чашу его терпения. Страшно расстроенный, выведенный из равновесия горестными событиями, которые следовали одно за другим, он вдруг ясно понял, что должен надеяться только на самого себя и меньше всего может ждать помощи от бога — от призрака, которого все почему-то привыкли считать любвеобильным и милосердным.
Смерть отца была последним испытанием его религиозного чувства, и сам Добролюбов позднее прямо связывал эту утрату с окончательным освобождением от власти «мглы» и предрассудков:
После похорон он задумался над тем, что же ему теперь делать. Первое, что пришло в голову, — это отказаться от всех планов и надежд, оставить институт и выхлопотать место учителя в каком-нибудь заштатном уездном городишке. К счастью, родные тут же воспрепятствовали этому проекту, справедливо рассудив, что высшее образование скорее поможет ему обеспечить своих малолетних сестер и братьев, чем скромная должность учителя. Все сошлись на том, что Николаю Александровичу надо дать возможность закончить институт. Решили начать хлопоты о пособии для сирот. Опекунами их имущества назначили дядю Василия Ивановича (брата отца), тетку Фавсту Васильевну (сестру матери) и протоиерея П. И. Лебедева.