Отец был отличным семьянином, внимательным к своим детям, часто делал им подарки, дарил книги, расширяющие их кругозор. Николай Иванович, вспоминая с любовью свою мать, пишет, как он любовался ее цветастым платьем, ее светлыми локонами, выглядывавшими из-под красивого чепца. Он считал ее красавицей, гордился мамой и с жаром целовал ее тонкие руки, вязавшие для него чулки. Эту любовь к матери Николай Иванович сохранил до конца своих дней.
Благотворное влияние оказывали на мальчика няня Катерина Михайловна и служанка Прасковья Кирилловна. Няня, солдатская вдова из крепостных, рано лишившаяся мужа, поступила в дом Пироговых еще в молодости. Она имела удивительно мягкий характер. Николай Иванович вспоминает, что не слышал от нее ни одного бранного слова. Она всегда с любовью и ласкою умела остановить упрямство и шалость ребенка. Мораль ее была самая простая и всегда трогательная, потому что выходила из любящей души: «Бог не велит так делать, не делай этого, грешно!» – и ничего более. Прасковья Кирилловна, крепостная служанка матери, была плотная, коренастая женщина, с толстыми, красными, как гусиные лапы, руками. Ее лицо было истыкано оспой и усеяно веснушками. Она была настоящей народной сказительницей, и ее сказки мальчик слушал с наслаждением, вплоть до поступления в университет. Эти сказки, которые она рассказывала ему по вечерам перед сном, оказывали на него большое воздействие и с раннего детства воспитывали любовь к родному языку. В последующем, когда Пирогов приехал на рождественские каникулы к матери в Москву из Дерпта, пробыв 4 года в Прибалтийском свободном крае, где было отменено крепостное право, он настоял у матери отпустить этих женщин на волю. Но оказалось, что у матери не было документов на крепость и она сама боялась попасть под суд. С молодой няней, красивой женщиной, все вышло благополучно, она вышла замуж без всяких документов. Прасковья Кирилловна получила вольную только в Петербурге, когда Пирогов, уже профессор Медико-хирургической академии, добился ее освобождения, как он пишет в своих воспоминаниях, «с помощью 25 рублей, преподнесенных квартальному надзирателю».
Николай Иванович отзывался с осуждением о тех русских дворянских семьях, где первым языком детей был иностранный, обычно французский. Живя в России, они с детства разговаривали не на родном языке, при этом ребенок часто думал также не по-русски. Какая же после этого у ребенка могла развиться любовь к своему отечеству?!
Сестры были гораздо старше Николая, они любили младшего брата и охотно принимали участие в его воспитании. Старший брат Петр был уже на службе, средний брат Амос, с которым тесно дружил Николай, был старше его на несколько лет.
Семья жила в достатке. Отец сверх порядочного жалованья по казначейству имел доход и от ведения частных дел, получая приглашения как хороший законовед. Дом их был просторный и веселый, имел небольшой сад и цветник. Позже, когда Николай Иванович вышел в отставку и приобрел имение «Вишня», он разбил прекрасный сад и цветник, к которым привык с раннего детства. Во время пожара Москвы в 1812 г. их дом сгорел, и после возвращения семьи его пришлось заново отстраивать.
Мальчик начал читать почти самоучкой с 6 лет, пользуясь помощью сестер и брата Амоса. У него была иллюстрированная азбука, подаренная отцом. В этой азбуке каждой букве сопутствовали картинки, посвященные недавним событиям 1812 г. Это были карикатуры на французских захватчиков с соответствующими подписями. Так, первая буква «А» представляла глухого мужика и бегущих от него в беспорядке французских солдат и имела такую подпись:
Буква «Б» иллюстрировалась Наполеоном, скачущим в санях вместе с Даву и Понятовским на запятках, и была такая надпись:
Букве «В» сопутствовала картинка, на которой французские солдаты раздирают на части пойманную ворону и один из них, изнуренный голодом, держит лапку, а другой, валяясь на земле, лижет пустой котелок. Ей сопутствовала такая подпись: