Торжества по случаю открытия новой губернии проводились в Томске 6-8 августа 1804 года, ритуал торжеств разрабатывал сам губернатор. Удивительно быстро Хвостову удалось собрать нужных людей губернского уровня, подыскать здания для присутственных мест. Костяк чиновничества составили люди, которых он хорошо знал по работе на Алтае.
Процессию на богослужение к церкви, а потом и к домам присутственных мест возглавляли конные казаки по три вряд, за ними шли четыре частных с городничих, затем городской магистрат с градским головой, два губернских стряпчие с прокурором, вице-губернатор А.И. Ведищев с асессорами и советниками… Сам губернатор с двумя советниками шел далеко не первым, после него двигались губернский землемер, уездный казначей, земский исправник, губернский архитектор, лекарь и прочие чиновники.
Любопытно, что построение отличалось от военного строя: если командир всегда идет впереди подчиненных, то здесь, напротив – после, строй как бы навыворот. И губернатор шел вслед за своими советниками, но один. Все чиновничество было приведено к присяге.
10 августа деловой бумагой за № 456 В.С. Хвостов докладывал генерал-губернатору Сибири И.О. Селифонтову об открытии губернии, где, между прочим, писал: «В сей день (то есть 6 августа) угощал я обеденным столом духовенство, чиновников гражданской и военной службы, магистрат в числе 64 персон… На третий день городское купеческое общество угощало обеденным столом всех в должностях состоящих штатских и военных чиновников. Все три дня город был иллюминирован, особенно же поставленную на Воскресенской горе у Соборной церкви картиною, с коей рисунок с изъяснением и сочиненные к оной стихи (Коллежским Регистратором г. Спасским) при сем приложить честь имею».
Став полноправным хозяином огромной по территории губернии, он объезжал уезды, налаживал управление, решал различные хозяйственные вопросы. Он предохранил от голода Туруханский уезд, в Енисейске завел хлебные запасные магазины. Воспользовавшись разрешенным ему отпуском, представил в Санкт-Петербурге свои соображения о реформах в губернии.
Он предлагал город Нарым перенести на другое более удобное место, упразднить город Туруханск для «избежания расходов на содержание в нем присутственных мест». Представил соображения о суде и «доставлении некоторых средств образования», об отмене сбора ясака натурою, «как естественного для инородцев, но не приносящего пользы казне и дающего повод к злоупотреблениям», об устройстве в Сагайской степи школы для тамошних инородцев, об устройстве в верховьях Енисея солеваренного завода. Государь лично благородил его за попечение «о вверенном крае» и наградил орденом Св. Владимира III степени.
Соображения Хвостова об улучшениях в губернии послужили первой причиной негодования на него нового генерал-губернатора Ивана Пестеля, тем более что предложения эти были препровождены на разрешение Хвостову же.
В течение своего срока губернаторства Василий Семенович успел на ничтожные средства поселить в губернии 3200 семейств, при этом сберег казне 325 тысяч рублей. Он проехал свыше 20 тысяч верст, чтобы лучше знать край. Он первым по времени из всех краеведов подготовил работу «О Томской губернии и о населении большой Сибирской дороги до Иркутской границы», где собрал много данных этнографических и статистических. Она была выпущена в столице уже после отставки автора.
Один его современник рисовал такой портрет Василия Семеновича:
«Хвостов был человек тучный, степенный, рассудительный, лицо имел багровое, говорил тихо и размеренно, действовал осторожно, однако же, не медленно. Если прибавить к тому, что он был самых честных правил и исполнен человеколюбия, то надо признать, что лучших качеств для занимаемого им места требовать не можно».
В начале 1808 года Василий Семенович по представлению сибирского генерал-губернатора И.Б. Пестеля был снят с должности губернатора по доносу одного канцеляриста, а также за медленное исполнение возложенного на него генерал-губернатором поручение и судим в 5-м департаменте Сената. По первой части обвинение было снято, а при исследовании дела о несвоевременном исполнении поручения выяснился совсем незначительный срок задержки – одни сутки. Судебная тяжба длилась несколько лет, а потом еще в опале пребывал, чуть ли не столько же.
За Василия Хвостова вступился М.М. Сперанский, назначенный сибирским губернатором в марте 1819 года. Особой запиской при своем рапорте на имя императора Александра I он указал на причины не благорасположения к Хвостову И.Б. Пестеля.