В начале 1740 года его было не узнать — закаленный, возмужавший. Он возвращается в Петербург и получает неожиданное для себя назначение — советником в Главную полицию. Скоро он становится генерал-полицмейстером и получает чин действительного статского советника. Но служба оказалась беспокойной и трудной, «редкий день без атак и штурмов приходился».
Правление Анны Леопольдовны было недолгим, но принесло Шаховскому должность сенатора, а вот следующий дворцовый переворот, воцарение Елизаветы Петровны, лишил его этого звания. Однако вскоре последовало новое назначение — теперь он обер-прокурор Святейшего синода.
«Записки» многое объясняют в его карьере. «Я еще с начала вступления в свет поставил в сердце моем предметом, чтобы во всех случаях, делах и поведении моих чистосердечно поступать, злоковарных же лестей и обманов употреблять гнушаться, а справедливость всему предпочитать». Именно этим стремлением к справедливости он и наживает себе множество врагов среди членов Синода. Некоторые из них, по его словам, чуть ли не на коленях упрашивали Елизавету Петровну удалить слишком требовательного прокурора. Однако ему удалось прослужить в этой должности более одиннадцати лет, дослужиться до чина тайного советника, получить ордена Святого Александра Невского, Святой Анны и другие. 29 мая 1753 года Шаховской был назначен генерал-кригскомиссаром, то есть главным начальником по снабжению армии и флота. На этом поприще он весьма строго следил за соблюдением государственных интересов и, по собственному выражению, ему приходилось «многие патриотические дела производить». Нередко в неимоверно тяжелых условиях, по бездорожью и в распутицу он доставлял припасы в армию «без повреждения» и в «целосохранности».
Особую заботу генерал проявлял о солдатах. В одну из суровых зим в Москву прибывали многочисленные команды новобранцев, среди рекрутов было много заболевших. Как-то раз Шаховской выехал в московский госпиталь, желая лично ознакомиться с условиями содержания солдат. Навстречу ему попались несколько дровней с лежащими в них людьми. На вопрос, куда их везут, сопровождающий унтер-офицер ответил: «Из гошпиталя, ваше сиятельство, в команду. Хворые они все тяжкими недугами». Шаховской недоумевал: «Так не из госпиталя надо везти, а в госпиталь». — «Не принимают их за теснотою в оном». Шаховской приказал развернуть дровни и ехать обратно. В госпитале оказались переполненными все покои — люди все прибывали, а размещать их было негде. Яков Петрович принял решение отселить из госпиталя проживавших там больничных служащих, а больных разместить в освободившихся помещениях. Часть медицинского персонала поселили в здании расположенной поблизости дворцовой пивоварни. Недоброжелатели тут же донесли об этом императрице Елизавете Петровне — якобы в ее величества пивоварне лежат больные «с прилипчивыми болезнями», а прачки стирают грязные бинты. Та разгневалась и поручила разобраться в этом деле начальнику своей Тайной канцелярии графу Шувалову. Шувалов послал в Москву для расследования поручика Безобразова: «Если ты по освидетельствовании обнаружишь в пивоварне больных и прачек, то всех их немедленно пересели для жительства в дом князя Шаховского». Московские враги Шаховского подкупили комиссара госпиталя, и он накануне приезда столичного курьера действительно перевез в пивоварню три десятка больных и прачек. Безобразов во исполнение приказа усадил их на подводы и привез в дом Якова Петровича, предъявив письмо начальника Тайной канцелярии. Шаховскому ничего не оставалось, как распахнуть свои покои, а самому перебраться в маленькую каморку. Будучи человеком негневливым, он все обратил в шутку, а через некоторое время ему удалось оправдаться перед императрицей. Комиссар же, мучимый угрызениями совести, вскоре наложил на себя руки.
15 августа 1760 года Яков Петрович становится генерал-прокурором и одновременно конференц-министром. Узнав о назначении на новую должность, он воскликнул: «В оном чину наиглавнейших злодеев иметь буду». И он не ошибся. Менее полутора лет служил на этом посту честный, бескорыстный и неподкупный прокурор, пользовавшийся репутацией «строгого законника» и пристально следивший за тем, чтобы в государственных учреждениях все «чинилось порядочно и по указам», имел немало острых стычек с приближенными к императрице сановниками. Он сразу же потребовал от обер-секретаря отчета о рапортах, присылаемых из присутственных мест, о производящихся там делах и расходовании денежных средств. Канцеляристы оказались в растерянности, поскольку донесения с мест, несмотря на «понуждения», поступали нерегулярно, а некоторые их вообще не направляли.
Чаще других игнорировала эти указания экспедиция по переделке медных денег, которой руководил граф Шувалов. Получив запрос, граф приехал в Сенат и в раздражении спросил, кто посмел прислать ему «понуждение», а потом обвинил генерал- прокурора в том, что тот причиняет ему неприятности. Шаховской же ответил, что пытается пресекать только «противозаконные поступки» Шувалова, основанные на личных выгодах и корысти. Разгневанный Шувалов расстался с ним еще большим врагом, чем был прежде.
Программой действий для генерал-прокурора стал указ Елизаветы Петровны от 16 августа 1760 года, в котором она поручала Сенату содействовать ей в восстановлении в государстве «надлежащего порядка, правосудия, благосостояния и обильного добра». Более близкое знакомство Я. П. Шаховского с судебными местами убедило его в том, что они погрязли в злоупотреблениях. Он писал: «Несытая алчба корысти дошла до того, что некоторые места, учрежденные для правосудия, сделались торжищем лихоимства, пристрастие — предводительством судей, а потворство и упущение — ободрением беззакония».
Он признавался, что чувствовал себя путешественником, который с «надлежащей большой дороги загнан в болото, наполненное тиною и трясиною, из коего не дорогами, но наудачу, то по колено, то глубже увязая, потеряв силы и отчаясь на твердый берег выйти, близко погибель свою ощущает».
Императрица Елизавета Петровна ценила Шаховского, была милостиво расположена к своему генерал-прокурору, лично принимала доклады и часто вставала на его сторону.
25 декабря 1761 года новый император Петр III отправил Шаховского в отставку, и некоторое время тот «оставался не у дел». Короткое царствование Петра III закончилось дворцовым переворотом, и на российском престоле оказалась Екатерина II. Она вновь призвала Шаховского на службу, назначив сенатором. В день своей коронации императрица пожаловала ему орден Святого Андрея Первозванного.
Яков Петрович часто сопровождал молодую императрицу в поездках по России, причем нередко сидя с ней в одном экипаже. В пути он много говорил о деяниях Петра Великого и затеянных им преобразованиях. В одной из таких поездок он как-то вспомнил, что по замыслу Петра I один из сенаторов должен каждый год объезжать губернии и ревизовать тамошние дела, вскрывать злоупотребления и лихоимство. Эта идея понравилась Екатерине II. Тогда Шаховской тут же вызвался лично произвести такую проверку в городах, которые они проезжали, и осуществил свое намерение в Ярославле, Ростове и Переславле-Залесском, чем привел в трепет местные власти.
1 апреля 1766 года действительный тайный советник и сенатор Я. П. Шаховской по состоянию здоровья вышел в отставку. Он поселился в Москве, а летнее время проводил в своей подмосковной деревне. Вставал по обыкновению в шесть часов утра и выходил в сад, за которым сам ухаживал. Изредка встречался со своими друзьями. Привыкший к напряженной работе, Яков Петрович и на отдыхе не мог сидеть без дела. Вскоре он принялся за написание воспоминаний о своей бурной, насыщенной яркими событиями жизни, которые озаглавил так: «Записки князя Я. П. Шаховского, полицмейстера при Бироне, обер-прокурора Святейшего синода, генерал-прокурора и конференц-министра в царствование Елизаветы и сенатора при Екатерине II». Они впервые были опубликованы в Москве в 1810 году.
Яков Петрович был женат дважды. Первой его женой была княжна Александра Алексеевна Путятина, второй — Евдокия Егоровна Лопухина (урожденная Фаминцына). От этих браков он имел четверых детей.
Князь Я. П. Шаховской умер 23 июля 1777 года и погребен в малой соборной церкви Донского монастыря.
Александр Иванович Глебов (1722–1790)