Из-за трений с Г. А. Потемкиным и из-за интриг некоторых высокопоставленных военных чинов Семен Романович решил снова проситься в отставку. Имелся и благовидный предлог — «воспаление в груди». Екатерина II, сделав несколько попыток уговорить строптивца остаться на службе, подписала необходимый указ.
По словам Семена Романовича, ни он, ни его брат не обогатились на службе, а напротив, должны были добавлять к должностному окладу собственные средства. Семен Романович тратил немало своих денег на нужды полка, и, чтобы сводить концы с концами, ему нередко приходилось входить в долги.
Выйдя в отставку, Семен Романович решил поехать в Италию для восстановления здоровья. Но денег на поездку не было. Поэтому он вынужден был заложить свой петербургский дом и продать ценные вещи.
Из Италии Семен Романович возвратился в 1778 году. В том же году Р. И. Воронцов, его отец, был назначен наместником во Владимирскую губернию. В подчинении у Романа Илларионовича оказались также Пензенская и Тамбовская губернии. А в дальнейшем вместо Пензенской и Тамбовской губерний ему была подчинена Костромская губерния.
11 ноября 1775 года Екатерина II подписала важнейший закон — «Учреждения для управления Губерний Всероссийской Империи». В этом законе, в частности, определялись права и обязанности вводимых в стране новых должностных лиц — наместников или генерал-губернаторов: «Должность Государева Наместника, или Генерал-Губернатора, есть следующая: строгое и точное взыскание чинить со всех ему подчиненных мест <…> и людей о исполнении законов и определенного их звания и должностей, но без суда да не накажет никого; преступников законов и должностей да отошлет, куда по узаконении следует, для суда; ибо Государев Наместник не есть судья, но сберегатель Императорского Величества изданного узаконения, ходатай за пользу общую и Государеву, заступник утесненных и побудитель безгласных дел. Словом сказать, нося имя Государева Наместника, должен он показать в поступках своих доброхотство, любовь и соболезнование народу». Далее отмечается, что от генерал-губернатора зависит благоустройство в наместничестве, что он должен «пресекать всякого рода злоупотребления, а наипаче роскошь безмерную и разорительную, обуздывать излишества, беспутства, мотовство, тиранство и жестокости» и «вступаться за всякого, кого по делам волочат», а также предупреждать «всякий недостаток в нужных для жителей припасах, как то в хлебе, в соли и проч.»8.
Таким был круг обязанностей Романа Илларионовича. Кроме того, предстояла кропотливая работа по делению новых губерний на уезды и по организации местных органов власти.
Роман Илларионович неустанно разъезжал по вверенным ему губерниям. Особенное беспокойство вызывали рекрутские наборы, которые обычно сопровождались массой злоупотреблений. Наместник старался лично наблюдать за проведением наборов. Но взяточничество и казнокрадство были настолько распространены в то время, что при всем своем старании Роман Илларионович не мог уследить за всеми подчиненными ему чиновниками. Однажды он узнал, что в Петербург поступили на него жалобы. В связи с этим Роман Илларионович писал сыну Александру, что прилагал немало труда для обеспечения благосостояния порученных его попечению жителей и не имел ни дня, ни ночи покоя, но стал жертвой клеветников. А поэтому предложил, чтобы из Петербурга были присланы проверяющие для ознакомления, с положением дел. Они, мол, увидят, что нет поводов для жалоб на него, что, напротив, многие прославляют Романа Илларионовича за то, с каким попечением, не думая о своем покое, заботится он о благополучии жителей.
Но никто из Петербурга не приехал для проверки жалоб на Романа Илларионовича, и он остался на своей хлопотливой должности.
Шли годы. Семену Романовичу уже исполнилось тридцать шесть, а он, как и его брат, был все еще холост. Поэтому невозможно описать радость Романа Илларионовича, когда он получил из Петербурга письмо от старшего сына Александра с известием, что Семен Романович наконец-то собрался жениться. Избранницей его стала Екатерина Алексеевна (1761–1784), дочь адмирала Алексея Наумовича Сенявина.
Роман Илларионович ответил Александру Романовичу, что своим намерением жениться младший сын исполнил его давнишнее желание и что он находит Катерину Алексеевну достойной партией. Роман Илларионович был особенно доволен тем, что сын женится по любви, а не по другим резонам, не из-за приданого, например. Впрочем, приданое у дочери адмирала скорее всего было весьма скромное.