Этот болезненный конфликт с годами так и не сгладился. Сохранились письма Бальзака матери, в которых он не стесняется говорить ей в крайне резких выражениях всё, что о ней думает: «Ты навсегда останешься курицей, которая снесла яйцо от какого-то пернатого не с птичьего двора…» А вот он пишет в пятидесятилетнем возрасте: «Богу и тебе хорошо известно, что, когда я появился на свет, ты меня не баловала своей нежностью и ласками. И ты правильно сделала, потому что, если бы ты любила меня так, как любила Анри, я наверняка был бы там, где он теперь; и в этом смысле ты мне хорошая мать». Какая едкая ирония судьбы: Анри де Бальзак ничего заметного в своей жизни не совершил. После дальних странствий, в результате которых, как ожидалось, он должен был приобрести состояние, он вернулся во Францию без гроша в кармане в сопровождении какой-то вдовы, на которой женился на острове Маврикий, и её сына. И чтобы ему помочь, госпожа де Бальзак попросила денег у Оноре!
Об этой своей душевной драме Бальзак писал и в письмах госпоже Ганской: «У меня никогда не было матери… Я никогда не открывал тебе эту свою рану, она была слишком ужасна, её надо видеть, чтобы в неё поверить». Главным разочарованием своего детства и бесконечными вопросами, им порождёнными, романист наделил Феликса де Ванденеса, героя «Лилии долины»: «Какое честолюбие я мог задеть своим рождением? Каких физических или моральных страданий стоила мне холодность матери? Выходит, я был дитём долга, чьё рождение состоялось по принуждению, а жизнь стала упрёком?» В «Лилии долины» показано, каким образом то, что поначалу было любовным влечением Феликса к госпоже де Морсоф, превращается в подобие сыновнего чувства. Порою возникает ощущение, что все эротические фантазии Бальзака колеблются между образами матери и любовницы. В романе «Баламутка» выведена мать, немилосердная к своему «хорошему» сыну и весьма снисходительная к другому, негодяю.
Другое глубокое переживание детства было связано у Бальзака с Вандомским коллежем ораторийцев. Заведение это до сих пор существует, и, разумеется, нынешняя его атмосфера не имеет ничего общего с той, что царила там почти два века тому назад. В «Луи Ламбере» Бальзак, основываясь на своих воспоминаниях об этом заведении, довольно точно описал его. Переступившие порог его суровых монастырских зданий оставались там надолго: каникул не полагалось, посещение родными — по особому разрешению, прогулки — по строгому распорядку. Дисциплина была суровой: «Классическая медная линейка с честью исполняла там свою жуткую роль. Некогда изобретённые иезуитами наказания, столь же пагубные для психики, как и для тела, полностью сохранились от старых порядков. По определённым дням воспитанники обязаны были писать письма родным, а также ходить на исповедь. Наши грехи, как и наши чувства, находились под контролем».
Воспитанника Бальзака там знали «крупным пухлощёким, румяным мальчиком, у которого зимой вечно зябли руки и ноги; он был молчун, из него трудно было вытянуть слово». Другой педагог описал Оноре более снисходительно, отметив, что он «был по характеру медлителен, но благодушен и поведения хорошего». В целом — персонаж, вызывающий некоторую жалость.
Известный печальный эпизод в повести «Луи Ламбер», когда герой украдкой пишет «Трактат о воле», который у него по доносу безжалостно конфискует наставник, по уверению Лоры Сюрвиль, произошёл с её братом. У мрачных коллежей-тюрем было, по крайней мере, одно достоинство: они будили у своих узников, юных непризнанных гениев, воображение и заставляли их мечтать…
Одно можно считать несомненным: в Вандомском коллеже, где замкнутая среда и суровая дисциплина порождали между детьми ссоры, насмешки и насилие, Бальзак прошёл суровую школу.