Верещагины были потомственными дворянами, владевшими усадьбами и селениями в Новгородской и Вологодской губерниях. Отцу художника принадлежало около двухсот крепостных душ. Систематического образования он не получил, в гражданской службе не преуспел, но, выйдя в отставку, стал видной фигурой среди уездного дворянства. Крупный исследователь жизни и творчества Верещагина искусствовед А. К. Лебедев так характеризует отца художника: «Это был упорный, но малодеятельный человек. Вел он свое хозяйство по старинке и был мелочно бережлив. Не обремененный заботами, спокойный, всегда молчаливый, большой домосед, он любил целыми днями лежать на диване, читать или дремать. С детьми был в общем добр, но иногда больно наказывал их за шалости».
Вообще Верещагины в среде череповецкого дворянства пользовались репутацией добрых людей. Пожалуй, это определение заслуживает пояснения. Верещагины не принадлежали к числу из ряда вон выходящих извергов-садистов, подобных пресловутой Салтычихе, каких можно было встретить и здесь. Но и в Пертовке барин мог отослать на конюшню для порки оплошавшего дворового, отдать в рекруты не угодившего ему крестьянского парня. А разгневанная барыня могла излить свой гнев на горничных или кухарок, дав волю рукам своим. Но случалось это не чаще, чем в других крепостных усадьбах, живших своими нормами жизни.
Родители всячески старались оградить Василия и других своих детей от какого бы то ни было общения с крепостными, исключая няни Анны Ларионовны, доброй и ласковой старухи. Детям запрещалось играть со своими сверстниками-крепостными, заходить в людскую, в крестьянские избы. Вряд ли такие запреты оказывались действенными и достигали своей цели. Впечатлительный и наблюдательный, добрый от природы, Василий жадно тянулся к пертовским обитателям, видя в них таких же людей, достойных лучшей участи. Он не раз наблюдал барскую жестокость и несправедливость. Бывал свидетелем и того, как унижалось человеческое достоинство, как сильный и имущий издевался над слабым и бедным. Случаи эти вызывали в мальчике внутренний протест, критическое отношение к поступкам родителей. Так с ранних лет в душе будущего художника закладывалось чувство ненависти к крепостничеству, деспотизму, социальной несправедливости.
Младший брат Верещагина, Александр, впоследствии генерал и писатель, вспоминал, как их семья гостила в Череповце у знакомой барыни-помещицы, доброй и приветливой старушки, и что им, детям, довелось там увидеть. «Добрая барыня» секла провинившихся крепостных. Когда являлся староста с оброком и, жалуясь на недоимки, приносил не ту сумму, которую ожидала помещица, секли и его. Это продолжалось до тех пор, пока староста не добывал еще одну ассигнацию. Если и это не могло удовлетворить барыню, старосту снова секли. Так продолжалось пять или шесть раз. «И такое вышибание оброка было повсеместным», — отмечал автор.
О других случаях писал сам Василий Васильевич в своем «Детстве и отрочестве». Книга эта, кстати, пронизана искренней любовью и симпатией автора к крепостным людям, умельцам, труженикам, кормившим, обшивавшим, обслуживавшим, нянчившим членов большой помещичьей семьи.
Обычно хозяева женили дворовых по своему усмотрению, не принимая в расчет чувства и привязанности людей, а руководствуясь только своекорыстными хозяйственными интересами или просто ничем не объяснимыми барскими капризами. Впрочем, слуга Павел, присмотревший по зову сердца дочку одного старосты, избежал участи других дворовых и женился по своему выбору. Но и пришлось же ему поваляться в ногах барыни. Его отговаривали, предлагали ему других невест, но Павел стоял на своем. Жениться ему на своей избраннице в конце концов разрешили, но барин и барыня невзлюбили упрямца. Павел был удален из усадьбы и отпущен на оброк.
С грустью вспоминал Верещагин о судьбе молодого кучера Тимошки. По случаю приезда гостей Тимошку отправили в город верхом на серой кобылке Машке за какими-то покупками. Парень он был проворный и не раз справлялся с такими поручениями. Но на этот раз случилась неожиданная беда. На обратном пути, то ли на плохом мостике с расшатанным бревенчатым покрытием, то ли на еще не замерзшем болоте, кобылка сломала ногу. Вернулся Тимошка, потрясенный случившимся, ожидавший барского гнева и неминуемой суровой расплаты. Машку отвезли в лес, пристрелили и зарыли, а провинившегося кучера барин отдал в солдаты в первый же набор, дабы дать урок всем дворовым людям. Впоследствии Верещагин вспоминал о Тимошке с чувством жалости и считал его вину неумышленной, даже пытался разузнать что-либо о его судьбе.