Главным увлечением Григория Петровича Волконского была охота. Чучела убитых зверей стали неотъемлемой частью интерьера его усадьбы и находились в Сковородкино вплоть до начала Великой Отечественной войны. В народе рассказывают, что когда князь выезжал на охоту, местные мужики уходили в лес заранее и гнали лосей навстречу князю. Поэтому охота чаще оказывалась удачной. В усадьбе на берегу малого пруда был выстроен небольшой «медвежий дом», сохранившийся и до нашего времени. В нем держали медвежат, чьи матери стали добычей князя. 21 мая 1902 года Софья Павловна писала мужу: «Медвежонок здравствует, и дети ежедневно ходят его смотреть; их очень занимает его лазанье по деревьям».
Известен случай, произошедший с крестьянином деревни Дрожжино, пришедшим в один из престольных праздников в Сковородкино, чтобы поздороваться с самим обитателем «медвежьего дома». Медведь, не желая здороваться с нетрезвым гостем, нанес тому серьезные ранения, следствием которых стала ампутация руки. Григорий Петрович назначил мужчине пенсию, а в престольные праздники и сам навещал мужчину, привозя тому подарки.
Приобретенная Волконскими усадьба в своем настоящем виде их устраивала не вполне. Большая семья, многочисленные гости: все это требовало строительства еще одного усадебного дома. Необходимы были также ремонт и строительство ряда хозяйственных построек и жилья для служащих. Доставка кирпича из Вязьмы оказалась делом весьма хлопотным и дорогостоящим, поэтому в Сковородкино был построен собственный небольшой кирпичный завод, отвечавший нуждам усадебного строительства, на некоторых кирпичах встречается клеймо «СКВ» («Светлейший князь Волконский»).
В итоге работы в усадьбе дополнительно были возведены двухэтажный каменный дом, соединявшийся переходом со старым особняком, дома для служащих, амбар, кладовая, баня. Удивительно грамотно с инженерной точки зрения выстроены погреба — ледники, которые до сих пор сохранились. Местные жители, которые живут рядом с этими погребами более 30 лет, говорят, что в них никогда, даже в самые многоводные сезоны года, не скапливалась вода. Один из погребов использовали для хранения продуктов во времена работы пионерского лагеря. Для охлаждения погреб загружали доверху льдом, который таял в течение всего лета. Но удивительно, что вода в погребе все равно не застаивалась. Была построена прачечная, здание которой также сохранилось. Это небольшой, прямоугольный домик, вписывающийся в общий ландшафт. На большом пруду была выстроена новая плотина и мост.
На территории усадьбы была своя конюшня. Летом крестьяне заготавливали достаточно много сена и хранили его на чердаке конюшни. Зимой это сено частями спускали с чердака. Часть здания конюшни сохранилась до настоящего времени. Во времена советской власти здесь был коровник. В усадьбе была сложная система гидротехнических сооружений. В барском доме действовал водопровод, была проведена канализация. До сих пор сохранились канализационные люки. Форма люков не круглая, как у современных люков, а овальная. На большой глубине, примерно до пяти метров, проложены многочисленные трубы. Они не проржавели, так как были лужеными — покрыты изнутри оловом или сплавом олова.
Частью усадебного комплекса стала домовая церковь, разрешение на устройство которой Григорий Петрович получил в 1904 году. Ее освящение состоялось на следующий, 1905 год. Внешний облик близлежащей местности изменил и высаженный яблоневый сад. Сад был заложен с «промышленной целью», то есть с ориентировкой на продажу большей части урожая, поэтому основу его составили яблони осенних сортов. По рассказам старожилов, сад вымерз в одну из послевоенных морозных зим. Помимо сада, по распоряжению князя был высажен сеяный лес (ели, сосны, березы), где ведущей породой была ель. Местные жители до сих пор называют этот лес «сеянкой» и говорят, что, если взглянуть сверху на ту его часть, которая отделяет деревню Сковородкино от станции Касня, то по кронам деревьев можно прочесть буквы «СКВ». Считается, что лес наравне с крестьянами сажал и один из сыновей Григория Петровича, за что отец платил ему те же деньги, что и трудившимся крестьянам.
1917 год принес революцию. С этого времени начался новый период жизни Сковородкино. Жизнь продолжалась, но без старых хозяев. В бывшем имении был открыт один из первых в Вяземском уезде совхозов (впоследствии совхоз-техникум).