На склоне холма Иван Иванович разбил новый спасский сад: на фоне лип, дубов, кленов и ясеней красовались в нем стройные группы хвойных деревьев: высоких елей, сосен и пихт. Иван Иванович пересадил их из старого Ивановского парка: выкорчеванные деревья весом до двух тонн перевозились в вертикальном положении на специально устроенных повозках, в которые впрягалось несколько лошадей. "Много, много было хлопот и трудов! рассказывали старожилы Ивану Сергеевичу и с гордостью добавляли: - А нашему барину все по силам!"
"Вот она, старая-то Русь!" - писал впоследствии Тургенев. Солоно обходились мужикам широкие барские затеи, трещали крестьянские спины, надрывались от непосильного труда ивановские лошаденки, выросшие на тощих мужицких кормах. Да уж и крут был Иван Иванович в обращении с подвластным ему деревенским людом. Чуть что не по нем - розги на конюшне, это в лучшем случае, а то подведет и под красную шапку - отправит в солдатскую службу на 25 лет вые очереди или сошлет в дальнюю деревню на самые что ни есть тяжелые работы. Но вот привыкли, обтерпелись, научились относиться к барскому гневу и немилости как к стихийному природному бедствию. Сердись на непогоду, грози небу кулаком - а что толку! У природы свои законы, и к ропоту людскому она равнодушна. Так и барин - чем строже взыщет, тем милее мужику...
Вспоминал Тургенев о своих предках Лутовиновых, когда писал "Записки охотника", когда работал над рассказом "Два помещика". Мардарий Аполлонович Стегунов, дворянин старого патриархального покроя, попивал на веранде чаек и, прислушиваясь к ударам розог на конюшне, добродушно приговаривал в такт: "Чюки-чюки-чюк! Чюки-чюк! Чюки-чюк!" А спустя четверть часа после этой экзекуции потерпевший буфетчик Василий так отзывался о своем барине: "А поделом, батюшка, поделом. У нас по пустякам не наказывают; такого заведенья у нас нету - ни, ни. У нас барин не такой; у нас барин... такого барина в целой губернии не сыщешь".
Часто всматривался Тургенев в портрет Ивана Ивановича в спасской фамильной галерее: бледно-русые волосы, высокий открытый лоб с глубокой волевой морщиной между бровей, а в углах рта - две складки, придающие лицу и надменное, и какое-то нервное выражение. Сразу виден характер - энергичный и жесткий. Художник изобразил его сидящим за столом, с рукою, положенною на счеты.
Всю жизнь он подчинил накопительству и обогащению. Используя высокое положение в кругах мелкого провинциального дворянства, Иван Иванович правдами и неправдами расширял границы своих владений, а под старость лет вообще превратился в Скупого рыцаря. Особое пристрастие питал он к жемчугу, который складывал в специально сшитые мешочки. Случалось, что он брал вещь втридорога, заметив в ней жемчужные зерна, и, вынув дорогие жемчужины, возвращал ее владельцу. Ивана Ивановича Лутовинова имел в виду Тургенев в повести "Три портрета", где старик-скупец пересчитывает палочкой кульки с деньгами.
Скопидомство и жестокость уживались в нем с довольно широкой образованностью и начитанностью. Из Пажеского корпуса Иван Иванович вынес знание французского и латинского языков, в Спасском он собрал великолепную библиотеку из сочинений русских и французских классиков XVIII века. Вряд ли предполагал суровый старик, кому послужат верой и правдой именно эти, подлинные его сокровища.
И хоть восхищалась старая крестьянская Русь энергией и силой, размашистой предприимчивостью своего барина, недобрую славу оставил он о себе в народе. Все легенды об основателе спасской усадьбы неизменно окрашивались в какие-то жутковатые тона. Погребен был Иван Иванович в фамильном склепе под часовней, им самим сооруженной при въезде в усадьбу, в углу старого кладбища. С этой часовней и расположенным невдалеке от нее Варнавицким оврагом связывали крестьяне страшное поверье. Два эти места считались в народе нечистыми: неспокойно лежалось усопшему барину в каменном склепе, мучила совесть, давила могила. Говорили, что по ночам выходит он из часовни и бродит по зарослям глухого Варнавицкого оврага и по плотине пруда в поисках разрыв-травы. Из поколения в поколение передавалась эта легенда, и не случайно звучит она в устах крестьянских ребят из "Бежина луга". Да и сам Тургенев еще мальчиком обегал это проклятое народом место, а в 1881 году говорил гостившему у него в Спасском Я. П. Полонскому: "Ни за что бы я не желал быть похороненным на нашем спасском кладбище, в родовом нашем склепе. Раз я там был и никогда не забуду того страшного впечатления, которое оттуда вынес..."
Другим проклятым урочищем считались остатки старой лутовиновской усадьбы на Ивановском поле: канавы, служившие оградой барского дома, сада и парка, пересохший пруд, затянутый илом и поросший болотной осокой, три одинокие ели из бывшего сада, росшие близко одна от другой, в двадцати метрах от пруда, стройные и такие высокие, что вершины были видны на горизонте чуть ли не за 60 верст от Ивановского. Старожилы утверждали, что эти ели посажены при основании усадьбы и в ясную погоду их можно рассмотреть даже из Орла. Не все по силам оказалось и Ивану Ивановичу: выкопать с корнем эти вековые деревья и перевезти в спасскую усадьбу он не смог. В 1847 году одна ель упала во время бури на вал канавы так, что вершина ее осталась над землей и служила забавными качелями для крестьянских ребят, пока однажды ель не скатилась и не захлестнула вершиной мальчика и девочку.
С этими елями тоже связано было страшное предание. Рассказывали, что жил некогда по соседству в сельце Губарево бедный помещик и служил главным управляющим спасской вотчиной у богатых Лутовиновых. Часто он наказывал кнутом и розгами спасских крестьянок. Наконец одна из них не выдержала, подстерегла жестокого управляющего при выезде из Чаплыгина леса и убила толкачом в голову. Хватились господа, стали искать, да так и не нашли и не узнали, куда исчез их верный слуга. А крестьянка закопала его у Ивановского пруда под тремя елями.
Спасские легенды, художественно осмысленные Тургеневым, органически вошли в роман "Рудин": "Авдюхин пруд, возле которого Наталья назначила свидание Рудину, давно перестал быть прудом. Лет тридцать тому назад его прорвало, и с тех пор его забросили. Только по ровному и плоскому дну оврага, некогда затянутому жирным илом, да по остаткам плотины можно было догадаться, что здесь был пруд. Тут же существовала усадьба. Она давным-давно исчезла. Две огромные сосны напоминали о ней; ветер вечно шумел и угрюмо гудел в их высокой, тощей зелени... В народе ходили таинственные слухи о страшном преступлении, будто бы совершенном у их корня; поговаривали также, что ни одна из них не упадет, не причинив кому-нибудь смерти; что тут прежде стояла третья сосна, которая в бурю повалилась и задавила девочку. Все место около старого пруда считалось нечистым; пустое и голое, но глухое и мрачное, даже в солнечный день, оно казалось мрачнее и глуше от близости дряхлого дубового леса, давно вымершего и засохшего. Редкие серые остовы громадных деревьев высились какими-то унылыми призраками над низкой порослью кустов. Жутко было смотреть на них: казалось, злые старики сошлись и замышляют что-то недоброе. Узкая, едва проторенная дорожка вилась в стороне. Без особенной нужды никто не проходил мимо Авдюхина пруда".
Отшумела и ушла в небытие старая жизнь, но память о ней хранилась в народных рассказах. Да и сама природа как бы излучала ее. Это излучение с детских лет улавливала эстетически чуткая натура Тургенева. И о деде своем, Петре Ивановиче, довелось услышать ему из уст спасских крестьян жуткие истории. Кроме Петровского, владел он будто бы землей и усадьбой в селе Топки Ливенского уезда, и была окружена эта усадьба соседями-однодворцами. Одна из тяжб с ними закончилась кровопролитием. Собрал барин своих мужиков с дубьем, расставил в засадах и послал сказать противникам своим, чтобы убирались со своей земли подобру-поздорову. Сбежались однодворцы, началась брань, а потом страшное побоище. Лутовинов выехал со всею охотой, напоенной допьяна и стрелявшей из пистолетов. "Когда Лутовинов одолел, тогда собрал все мертвые тела и повез их в город Ливны; едучи туда через селение противников, зажег оное с обеих концов и кричал: "Я - бич ваш!" Приехавши в Лизны, он прямо доставил убитых в суд и сказал судьям: "Вот, я управился". Его, разумеется, взяли, и он сидел в деревне своей более 15 лет на поруках".