Когда графу Орлову стало известно об этом, он в пылу гнева хотел затравить злодея собаками, но затем предоставил решать судьбу его самому пострадавшему: «Делай с ним что хочешь». А. Лебедев оставил губителя своей семьи Суду Божьему: «Семью все равно не вернешь».
18 ноября 1791 г. умер «старинушка» Иван. Похоронили его там же, где покоился уже Григорий — в отрадненском склепе Владимирской церкви, впредь до сооружения в сосновой роще часовни — мавзолея Орловых. А в 1796 г. находившиеся в Петербурге Алексей и Владимир получили сообщение о смерти любимого «Дунайки» — Федора. За несколько дней до смерти Федор призвал к себе всех шестерых своих воспитанников (незаконнорожденных детей) и, прощаясь, сказал: «Живите дружно, мы дружно жили с братьями и нас сам Потемкин не сломил». Душеприказчиками своими Федор оставил братьев Алексея и Владимира, которые похоронили его рядом с останками двоих старших братьев. Это случилось за полгода до смерти Екатерины II.
Возвращение в сожженную Москву
В один из зимних дней 1813 г. семейство Орловых, закутавшись в шубы, рассаживалось по экипажам в окружении провожавших крестьян, подававших отъезжающим традиционные прощальные подарки. В подарки непременно закладывали баночки с румянами и белилами, так как ими пользовались на Руси повсеместно и каждодневно.
В Москву въезжали с Нижегородской дороги через Рогожскую заставу. Зрелище обгоревших каменных домов и печей, оставшихся от деревянных строений, приводило в уныние. Доехав «почти до Серпуховской заставы», экипажи свернули в аллею «у Орлова поля», ведущую к домам Анны Алексеевны на Б. Калужской улице. Графиня предложила дядюшке Владимиру со всем семейством остановиться в Нескучном дворце до окончания работ по восстановлению его дома на Никитской, а сама заняла старый отцовский дом. Анна рассказала, что Орлов луг, бывший много лет при жизни Алексея Григорьевича местом увеселений москвичей, использовался ими и во время бедствия. Скрывавшиеся люди размещались здесь под открытым небом, разводили самовары, устраивались на ночлег.
Владимир Григорьевич прожил в Нескучном около полутора лет. Восстановление дома на Никитской, начатое, как следует из «Ведомости строению московского дома…», в мае 1813 г., закончилось в 1814 г.; вместе с переселением в родной дом вернулся и прежний уклад жизни с ежегодными выездами на лето в Отраду. Сюда для празднования именин хозяина и дней рождения членов семьи съезжалось много родственников и гостей. К праздничному обеду граф надевал фрак с дворянской медалью 1812 г., после обеда давалось представление в домашнем театре, оперы или комедии, вечером в саду устраивались иллюминация и фейерверки.
Осенние выезды на охоту с соседями Д. М. Щербатовым, сыном историка, Кочетовым, Чуфаровскими становились все реже — возраст давал о себе знать. Прежние охотничьи забавы становились графу все более в тягость, но он, иной раз, пересиливая себя, звал соседей и отдавал распоряжения своим дворовым собираться в поле. Охотничьи выезды позволяли Владимиру Григорьевичу не только поддерживать силы и здоровье, но и доставлять радость дворовым людям и застоявшимся собакам.
В отличие от многих помещиков, считавших ниже своего достоинства общаться с крепостными, граф Владимир понимал, что у простого народа есть чему поучиться, среди отрадненских дворовых у него были любимцы, ровесники, которых он заранее оповещал о своем приезде на лето. Собираясь с графом отдельно от всех в своем узком кругу, они вели разговоры на любые темы, причем содержание бесед по существовавшему уговору не подлежало огласке.
В Отраде знали все, что публиковалось в иностранных газетах о временах Екатерины и делах братьев Орловых. Французы Кастера, Рюльер, Лаво зачастую представляли Орловых в черном свете. Владимир Григорьевич возмущался их язвительными публикациями, выделяя при этом особенно Кастеру; иногда его переживания становились столь эмоциональными, что он закрывался в своем кабинете, не желая ни с кем общаться.
В 1814 г. умерла Елизавета Ивановна, жена графа. Внешне уклад жизни В. Орлова не изменился. Оркестр еще не был распущен и развеивал на время печаль хозяина, вечера до глубокой ночи проходили в беседах с И. И. Дмитриевым о государственных делах, новостях о знакомых, о выступлениях в Государственном совете адмирала Мордвинова, одно время особым предметом обсуждения было изгнание из Петербурга иезуитов, сумевших в течение нескольких лет создать свою «коллегию» для обучения и воспитания по-своему детей дворянской элиты в Петербурге. Дело в том, что один из внуков В. Орлова от Екатерины Новосильцевой вместе с сыновьями Федора обучался в этом «заведении», и, может быть, в его преждевременной гибели на дуэли сыграли не последнюю роль плоды воспитания служителей мракобесия.