В 1790 году, окончив курс со степенью доктора философии, граф Шемет, неожиданно для прочивших ему блестящее научное или политическое будущее друзей, вернулся в Жемайтию. Жил он тихо, понемногу приводя в порядок снова обветшавший Мединтильтас, а еще через год женился на панне Софии, дочери обедневшего соседа, к глубокому недовольству многих магнатов, прочивших за богатого вельможу своих дочерей. София, нежная и кроткая, но обладавшая незаурядным умом, горячо участвовала во всех начинаниях мужа, совершенствуя свое образование под его руководством.
Через год после свадьбы графиня подарила супругу наследника, которого назвали Войцехом. Но роды подорвали хрупкое здоровье пани Софии, и еще через полгода она скончалась от истощения сил. Это несчастье усугубило и без того меланхоличный нрав Яна Казимира, но не сломило его мужественный характер и волевую натуру. К родительским обязанностям граф относился серьезно и лично занялся воспитанием и образованием сына.
Михаил Клеофас прискакал в Мединтильтас в октябре 1794 года, запыленный, раненный в руку, подавленный поражением восстания и пленом Костюшко. Граф Шемет предоставил ему убежище, а после, когда Огинский оправился от раны, воспользовался своими связями, чтобы обеспечить другу возможность покинуть страну. Он не изменил своего мнения о перспективах возрождения Речи Посполитой, но высказанная Огинским надежда на то, что Великое Княжество Литовское когда-нибудь удастся восстановить под протекторатом Российской Империи, заронила зерно надежды в его сердце.
После того, как большая часть Литвы по новому соглашению отошла к России, а западные окраины Жемайтии вместе с родовым имением Шеметов — к Пруссии, граф Шемет отправился в Петербург. Ян Казимир надеялся к тому времени, когда Огинскому удастся вернуться из добровольного изгнания, завести там связи и помочь другу с осуществлением его плана.
В Петербурге Ян Казимир был принят при дворе и обласкан светом. Блестящее образование, недюжинные способности и светский такт графа, его открытый дом и покровительство искусствам, в особенности музыкальным, создали ему прочное положение в обществе и даже некоторое влияние. Сыну он по-прежнему уделял много времени и внимания и постарался дать ему лучшее домашнее образование, какое могла предложить Северная Пальмира.
От матери юный Войцех унаследовал хрупкую ангельскую красоту, но нравом, к изрядному беспокойству любящего отца, пошел в деда. Никакие наказания и внушения не могли остановить бесконечный поток шалостей мальчугана, а слуги, обожавшие «ангелочка», регулярно покрывали его проделки. Впрочем, тяга к приключениям не отбила у него охоту к занятиям, и успехи, которые он делал в науках, в глазах графа уравновешивали излишнюю вольность поведения.
Чтобы сгладить несколько двусмысленное положение графа Шемета, вступившего на русскую дипломатическую службу, несмотря на то, что родовое имение и титул его делали его прусским подданным, Войцех еще в младенчестве был записан в Лейб-гвардии гусарский полк. Хотя к тому времени подобная практика почти что прекратилась, для него сделали исключение, поскольку отец и помыслить не мог о том, чтобы сыну пришлось хотя бы день прослужить не в офицерском звании.
В пятнадцать лет Войцех уже щеголял в мундире корнета, и чуть пробивавшиеся золотистые усы привлекали к нему восхищенные взоры дам. О действительной службе и речи не было — произведенных в офицеры дворян в одном только Петербурге было больше, чем офицерских вакансий по всей Империи. Богатство, красота, прекрасное образование и природный ум — все гармонично сочеталось в молодом человеке. Но его горячий нрав уже начинал сказываться, и только строгий присмотр отца удерживал юношу, едва вступившего в свет, от того, чтобы пуститься во все тяжкие.
Михаил Клеофас Огинский, зарекомендовавший себя, как блестящий дипломат, переехал в Санкт-Петербург в 1810 году. Государь, к тому времени уже осознавший, что позорный Тильзитский мир — всего лишь отсрочка, рассчитывал получить через Огинского поддержку своих новых литовских подданных, и Михаил Клеофас стал сенатором и доверенным лицом императора. Огинский питал большие надежды на принятие своего проекта, заключавшегося в воссоздании Великого Княжества Литовского под протекторатом Российской Империи.
Но граф Шемет гораздо раньше друга понял, что царь кормит литовскую шляхту пустыми обещаниями, и, не желая принимать участия в бессмысленных переговорах, удалился от двора, вернувшись в Мединтильтас. Войцеху остался роскошный особняк в центре Санкт-Петербурга, одна из лучших конюшен столицы и поистине вельможное денежное содержание. И свобода, о которой юный Шемет в глубине души давно страстно мечтал.