В 1782 году Меллер подготовил донесение в столицу, что Колыванская область учреждена и присутственные места уже работают. А в поездку отправил Хвостова. Тот доставил благую весть, успехом были довольны самые высокие сановники, мало того, по тому случаю командира конной роты Василия Хвостова приняла сама императрица и выразила чрезвычайное удовлетворение. Она так была растрогана, что в дар гонцу вручила золотую эмалированную табакерку со ста червонцами в ней.
Короткое время Хвостов состоял асессором постоянной военно-судной комиссии, а в 1783 году оставил военную службу и занял должность советника в палате гражданского суда Колыванской области с жалованием в 600 рублей в год. Плюс к тому чиновники в Сибири получали столовые, которые превышали жалование по должности, квартирные и добавочные. Общая сумма часто превышала вдвое ту, что они имели в «Российских губерниях» на аналогичных должностях. А в феврале 1784 года в Барнауле состоялась грандиозная свадьба – правитель губернии отдавал замуж свою дочь Марию Борисовну. Женихом же, возлюбленным дочери, был Василий Хвостов. Некогда верный помощник своего командира стал зятем властелина губернии и горных заводов.
После десяти лет службы на Алтае – в 1790 году Василий Хвостов покинул Сибирь и укатил с семейством в столицу. К тому времени тесть уже не управлял горными заводами и рудниками, ибо они были переданы прибывшему из Петербурга статскому советнику Г.С. Качке, но он стал наместником Колыванского наместничества, куда включили и Иркутскую губернию. Вступивший на престол в ноябре 1796 года Павел I отменил чехарду Сибирских административно-территориальных преобразований своей матери, труды Меллера и вклад Хвостова оказались напрасными.
В столице Василий Семенович был причислен к герольдии Правительствующего сената, ведавшего делами дворянского сословия. Однако городская жизнь тяготила Марию Борисовну, она хотела на природу, в деревню, и семейство Хвостовых поселилось в имении Нежово, хотя усадьба, все службы и скотные дворы находились в самом худом положении. Состояния в Сибири не нажил, но выручила коллекция минералов. Генерал Б.И. Меллер всегда брал с собою командира конной роты, когда ехал осматривать заводы и рудники. Хвостов сделался страстным любителем минералов, собирал их всюду и, в конце концов, создал минералогический кабинет из более трех тысяч кусков. В столице продал коллекцию княгине Е.Р. Дашковой для Академии наук за 4000 рублей.
В 1793 году, узнав, что в Константинополь посылается чрезвычайным послом Михаил Илларионович Кутузов, Василий Хвостов просил его взять с собой. Будущий известный фельдмаршал М.И. Голенищев-Кутузов охотно согласился и определил его кавалером посольства. Ехать на берега Босфора Василия Семеновича побуждали и личные интересы – там поверенным в делах служил его старший брат Александр Хвостов, с ним не виделся лет двенадцать, к тому же требовалось разрешить дело о наследстве почивших еще в 1770 году родителей.
Служба под началом таких людей, как М.И. Кутузов, не могла не обогатить пытливый ум, не научить полезнейшему, просто бесценному опыту, не побуждать к истовому служению во благо Отечества. В Константинополе Хвостов был произведен в коллежские советники.
Посольство числом до 700 человек вернулось в Россию на другой год. Мария Борисовна по-прежнему хотела жить только в деревне, и Василий Семенович подал прошение об отставке. В 1795 году получил ее с чином статского советника, но пока хлопотал о ней в столице, пришло известие, что Мария Борисовна умерла при родах. Не выжил и ребенок. Это была не первая горькая потеря – в Барнауле в младенчестве умерли три сына и дочь Софья.
Василий Семенович решил посвятить себя деревенской жизни. Перестраивал господский дом, строил скотные дворы, амбары, подсобные помещения. Нанял садовника, завел сад и пасеку. Избирался предводителем дворянства Гдовского уезда. Долго жил вдовцом, а потом женился, но семейное счастье длилось не долго – Екатерина Александровна Колюбакина тоже умерла при родах.
С воцарением Павла I многие чиновники высокого ранга оставили свои посты, а император Александр I начал с того, что вновь их призывал на государеву службу. Хвостов поехал в Петербург искать себе место, пути-дороги привели его к министру внутренних дел князю В.П. Кочубею. Тот предлагал на выбор три губернии, но Василий Семенович соглашался возглавить только Томскую. Свое решение он мотивировал тем, что уже знал Сибирь, а главное, что там низкие цены на все и вся. Назначение состоялось с производством губернатора в чин действительного статского советника. Тобольский, томский и иркутский генерал-губернатор И.О. Селифонтов на эту должность представлял своих кандидатов.