В домашних делах отец не принимал никакого участия и не имел никакой власти — да он в ней и не нуждался. Женой Сергей Николаевич просто-напросто перестал интересоваться: не спорил и ни во что не вмешивался. Он избрал в отношениях с нею тактику уклончивого смирения, чтобы его оставили в покое и не мешали делать то, что ему хочется. Варвара Петровна в ответ на это, испробовав все, что было в ее силах, застыла в «великолепном и пышном терпении добродетели», в котором, по словам Тургенева, «так много самолюбивой гордости». Она уже не упрекала мужа, перестала устраивать сцены ревности, молча давала ему деньги, молча платила его долги.
Иногда в Сергее Николаевиче прорывалось какое-то быстрое и порывистое отцовское чувство. «Тогда на его каменном лице появлялась трогательная улыбка, окруженные тонкими морщинами голубые глаза светились любовью к сыну». Но когда торопливая ласка истощалась, вновь весь его облик принимал какое-то строгое, холодное и отдаленное выражение. В повести «Первая любовь», автобиографичной от первой до последней страницы, Тургенев писал: «Странное влияние имел на меня отец — и странные были наши отношения. Он почти не занимался моим воспитанием, но никогда не оскорблял меня; он уважал мою свободу — он даже был, если можно так выразиться, вежлив со мною… Только он не допускал меня до себя. Я любил его, я любовался им, он казался мне образцом мужчины — и, боже мой, как бы я страстно к нему привязался, если б я постоянно не чувствовал его отклоняющей руки! Зато, когда он хотел, он умел почти мгновенно, одним словом, одним движением возбудить во мне неограниченное доверие к себе. Душа моя раскрывалась — я болтал с ним, как с разумным другом, как с снисходительным наставником… Потом он так же внезапно покидал меня — и рука его опять отклоняла меня, ласково и мягко, но отклоняла.
На него находила иногда веселость, и тогда он готов был резвиться и шалить со мной, как мальчик (он любил всякое сильное телесное движение); раз — всего только раз! — он приласкал меня с такою нежностью, что я чуть не заплакал… Но и веселость его и нежность исчезали без следа — и то, что происходило между нами, не давало мне никаких надежд на будущее, точно я все это во сне видел. Бывало, стану я рассматривать его умное, красивое, светлое лицо… сердце мое задрожит, и все существо мое устремится к нему… он словно почувствует, что во мне происходит, мимоходом потреплет меня по щеке — и либо уйдет, либо займется чем-нибудь, либо вдруг весь застынет, как он один умел застывать, и я тотчас же сожмусь и тоже похолодею. Редкие припадки его расположения ко мне никогда не были вызваны моими безмолвными, но понятными мольбами: они приходили всегда неожиданно. Размышляя впоследствии о характере моего отца, я пришел к такому заключению, что ему было не до меня и не до семейной жизни; он любил другое и насладился этим другим вполне. «Сам бери, что можешь, а в руки не давайся; самому себе принадлежать — в этом вся штука жизни», — сказал он мне однажды».
Задумываясь впоследствии над своим детством и юностью, над судьбою матери и отца, Тургенев говорил: «Жизненные условия, в которых мы все воспитались и выросли, сложились особым, небывалым образом, который едва ли повторится». Семейная драма в доме Тургеневых осложнялась драмой общественной, именуемой крепостным правом, которое, по словам М. Е. Салтыкова-Щедрина, «втягивало все сословия в омут унизительного бесправия, всевозможных изворотов лукавства и страха перед перспективою быть ежечасно раздавленным». С детских лет Тургенев почувствовал, что его личные обиды являются отголоском всенародной беды.
Жил в одном из имений матери статный и рослый великан, глухонемой крестьянин Андрей. Заприметила однажды Варвара Петровна во время поездки по далеким имениям его богатырскую фигуру на хлебном поле и приказала управляющему немедленно доставить мужика в барскую усадьбу. Беззащитного, ничего не понимающего Андрея усадили всем миром в телегу и по прихоти госпожи доставили на барский двор. Что было в душе этого пахаря, насильственно оторванного от родной почвы, от привычных крестьянских трудов? До переживаний Андрея Варваре Петровне не было никакого дела. Она и государственных-то чиновников мелкого пошиба за людей не считала. Принимала, например, однажды ванну в специальной комнате, а в Спасское приехал становой, «Немедленно ко мне!» Становой сконфузился, увидев Варвару Петровну через приотворенную дверь. Тогда она на него грозно прикрикнула: «Да ну! Иди, что ли! Что ты для меня? Мужчина, что ли?!» Так обходилась владетельная особа с судебной властью, а уж об Андреях да Герасимах ей и в голову не приходило задумываться. На мужиков она смотрела как на полную свою собственность: что нравится барыне, то должно приносить радость и рабу.
Чего только не делал немой Андрей по барским приказаниям для удовлетворения прихотей капризной госпожи, каких только должностей не исправлял. В Спасском на первых порах он был назначен собственным господским скороходом. Одна из бедных дворянок, воспитанниц Варвары Петровны, вспоминала: «До сих пор живо представляется мне, как по дороге, ведущей к нашему дому, шагает гигант с сумкой на шее, с такой же длинной палкой, как и он сам, в одной руке, а в другой — с запиской от Варвары Петровны». Случилось что-нибудь? Как же! Госпожа соскучилась по своей воспитаннице и пригласила ее к себе в гости, для чего барскому скороходу пришлось проделать путь 60 верст в один конец. Бывали капризы и поизощреннее: в 70 верстах от Спасского жила Авдотья Ивановна Лагривая. К ней Андрея посылали периодически за горшочком гречневой каши: по мнению Варвары Петровны, спасение повара гречневую кашу готовить не умели…
В московском доме на Остоженке немой находился в должности дворника. Об этом периоде его жизни поведал Тургенев читателям в повести «Муму», назвав его Герасимом. Повесть эта во всем достоверна, за исключением концовки: Андрей действительно утопил бедную собачонку, но бросить госпожу и самовольно уйти в родную деревню не решился.