Через несколько дней после крестин Семен Романович получил письмо от А. А. Безбородко, секретаря Екатерины II и своего бывшего сослуживца в армии П. А. Румянцева-Задунайского. В письме говорилось, что в Италии в Венецианской республике открывается русское посольство и что императрица считает необходимым послать туда особу «знатной породою и отменных способностей». И пожелала Екатерина направить в эту республику первым русским посланником Семена Романовича, «в мыслях своих самого лучшего человека, которого знает она военные заслуги, а смело судит о политических его способностях». При этом императрица предложила Безбородке осведомиться у Семена Романовича, примет ли он «сие место к ее угодности»13.
Поначалу Семен Романович хотел отказаться от лестного предложения императрицы, но друзья уговорили его согласиться на это назначение. Сообщая эту новость отцу, Семен Романович посетовал, что новая должность потребует немалых расходов, так как он не имеет, что называется, ни ложки, ни плошки.
В другом письме он поясняет, чем особенно озабочен. Он не может «довольно нахвалиться милостью Ее Величества», но его беспокоят «недостатки в заведении дома». У него нет никакой возможности сделать себе серебряный сервиз, а поэтому просит отца ссудить его своим сервизом. В этом случае он избавится от необходимости входить в долги, а также ему не придется «стыдить двор» и фамилию, которую он носит. «Стыдить двор» и свою фамилию Семен Романович станет в том случае, если будет принужден «давать обеды на фаянсовом сервизе, что в чужих краях не только министры или дворяне, но и среднего состояния купцы не делают»14.
Отец выполнил просьбу сына, а также пожелал взять на время внука к себе. Семен Романович поблагодарил отца за это и написал, что отправить к нему Мишу нет никакой возможности. Этому препятствует горячая любовь к сыну Екатерины Алексеевны. Она не выдержит длительную разлуку, так как не расстается с Мишей ни на час. А когда бывает у родных, «то его с кормилицей и нянькой с собой таскает»15. Роман Илларионович попросил, чтобы Семен Романович приехал к нему с Мишей хотя бы в гости.
Семен Романович решил навестить отца по прошествии жестоких морозов. Он начал закалять сына, приучая к вольному воздуху, «дабы тот не боялся простуды». Но у Миши появился насморк, он стал кашлять. Екатерина Алексеевна так беспокоилась о своем первенце, что не могла спать. Семен Романович опасался, что и она заболеет, а поэтому отъезд был отложен.
В следующем, 1783 году, Екатерина Алексеевна родила дочь, которую назвали Катериной. В связи с этим поездка к деду оказалась невозможной. И тогда Роман Илларионович решил сам приехать в Петербург. В столицу он прибыл в начале лета 1783 года. Наконец-то он увидел долгожданных внука и внучку, сыновей, дочерей и других своих родственников.
Во время пребывания Романа Илларионовича в столице Екатерина II несколько раз приглашала его к себе во дворец. А 22 сентября императрица отметила успешную деятельность Романа Илларионовича в хлопотливой и ответственной должности наместника пожалованием ему ордена Св. Владимира 1-й степени. Осенью того же года Роман Илларионович стал членом Российской академии, инициатором создания и президентом которой была его дочь княгиня Е. Р. Дашкова.
На обратном пути во Владимир Роман Илларионович простудился. К началу ноября он стал поправляться, но затем болезнь обострилась, и 30 ноября 1783 года его не стало. Владимирцы похоронили своего первого наместника в древнем Дмитриевском соборе.
Через двадцать лет старанием Александра и Семена Романовичей на могиле их отца было установлено мраморное надгробие. На нем написано: «Почивающему графу Роману Ларионовичу, генерал-аншефу, сенатору, действительному камергеру, Владимирскому и Костромскому государеву наместнику, орденов Св. апостола Андрея, Александра Невского, Св. Владимира, польского Белого Орла и Св. Анны кавалеру. Родившемуся в 1717 году июля 17 дня, скончавшемуся во Владимире ноября 30 дня 1783 года. Надгробную сию поставили сыновья его графы Александр и Семен Воронцовы в лето 1804 года. Возобновил внук граф Михаил Воронцов в 1841 году».