И 22 мая 1797 года Дмитриев был принят на службу, совершенно неожиданно получив «хорошее место» товарища министра уделов и обер-прокурора третьего департамента Правительствующего сената, а через несколько дней стал статским советником.
В своих воспоминаниях Дмитриев писал: «Отсюда начинается ученичество мое в науке законоведения и знакомство с происками, эгоизмом, надменностью и раболепством двум господствующим в наше время страстям: любостяжанию и честолюбию». Он отмечал далее, что «не без смущения» занял свой новый пост, думая прежде всего о важности своего нового звания — «блюстителя законов». По его мнению, это звание обязывало охранять законы от «умышленно кривых истолкований», «сносить равнодушно пристрастные толки и поклеп тяжущихся или подсудимых», противостоять иногда «особам, украшенным сединами, знаками отличий».
Службу на прокурорском поприще он начал с того, что основательно проштудировал всю нормативную базу, которой следовало ему руководствоваться в своей деятельности, познакомился с «внутренним положением» поднадзорного ему департамента, порядком ведения дел. Департамент, где он служил, был, по его выражению, «энциклопедическим». Именно сюда стекалось множество уголовных и гражданских дел из Малороссии, Царства Польского, Лифляндии, Курляндии, Эстляндии и Финляндии. Департаменту были подведомственны Юстиц-коллегия, полиция, почта. Сенаторы обязаны были заниматься организацией работы школ и училищ, следить за устройством дорог и водных сообщений. Работы было много, а для Дмитриева она была поначалу к тому же совершенно незнакомой и немного занудной. Ведь в душе он все же оставался поэтом…
Нужно отдать должное Ивану Ивановичу — он довольно быстро освоил круг своих обязанностей и с первых дней пребывания в должности обер-прокурора очень хорошо вписался в роль и активно отстаивал интересы законности. Это не всегда нравилось сенаторам. «Едва ли проходила неделя без жаркого спора с кем-нибудь из сенаторов, без невольного раздражения их самолюбия», — вспоминал позднее Дмитриев. Стычки по службе случались у него даже с поэтическим наставником Г. Р. Державиным, которого Дмитриев «любил и уважал от всего сердца». «Благородная душа его, — вспоминал Дмитриев, — конечно, была чужда корысти и эгоизма, но пылкость ума увлекала его иногда к решениям, требовавшим для большей осторожности других мер, некоторых изъятий или дополнений. Та же пылкость его оскорблялась противоречием, однако же, не на долгое время: чистая совесть его скоро брала верх, и он соглашался с замечанием прокурора».
Служба его продвигалась успешно. В ноябре 1798 года он получил чин действительного статского советника. Однако времени для творчества практически не оставалось. По этому поводу он писал: «Во все это время, находясь в гражданской службе, я уже не имел досуга предаваться поэзии. Притом же и сам хотел на время забыть ее, чтобы сноснее для меня был запутанный, варварский слог наших толстых экстрактов и апелляционных челобитен».
В декабре 1799 года жизнь Дмитриева опять круто изменилась. Неожиданно для всех, в том числе и для генерал-прокурора А. А. Беклешова, Дмитриев подает в отставку. 30 декабря он освобождается от занимаемой должности с пенсионом и присвоением чина тайного советника. Дмитриев селится в Москве и занимается исключительно литературной деятельностью. В 1803–1805 годах выходят в свет три тома его сочинений.
Однако в феврале 1806 года его покой опять был нарушен. Молодой император Александр I, хорошо знавший Дмитриева, вновь призывает его на службу. Иван Иванович становится теперь сенатором в седьмом департаменте Правительствующего сената. В том же году он получил орден — Святой Анны 1-й степени. В 1807 году граф Завадовский, по желанию императора, предложил Дмитриеву занять пост попечителя Московского университета, на что Иван Иванович уклончиво ответил, что охотно бы на это согласился, если бы усердие заменяло сведения и дарования.
Но император по-прежнему доверяет Ивану Ивановичу и, судя по его действиям не собирается вычеркивать Дмитриева из списка своего резерва — он выполняет многие его личные поручения. В 1808 году Дмитриев удачно выполнил два задания императора: сначала произвел следствие в Рязани о злоупотреблениях по винным откупам, а потом в Костроме «исследовал поступки» губернатора Пасынкова.
Его умение объективно и оперативно разобраться в ситуации оценивается монархом — 1 января 1810 года Дмитриев становиться членом Государственного совета, назначается министром юстиции и генерал-прокурором. 30 августа 1810 года ему вручается орден Святого Александра Невского.
Правосудие и прокурорский надзор находились тогда не в лучшем состоянии: множество инстанций только способствовали проволочкам и волоките, мало выделялось средств на содержание судебных мест, особенно палат гражданской и уголовной, зачастую чиновники назначались по протекции и т. п.
Иван Иванович энергично принялся за работу, сумел провести ряд важных узаконений. У него было много хороших идей о наилучшем устройстве судебной и прокурорской частей. Но до осуществления их дело, как правило, не доходило. Он активно поддержал проект И. М. Наумова об учреждении Дома практического правоведения, который должен был стать «местом открытого адвокатства». Дмитриев признавал полезным открытие в России училищ законоведения, куда принимались бы не только дворянские, но и купеческие и мещанские детей. По его мнению, если бы этот проект осуществился, то через несколько лет можно было бы установить правило, чтобы «никого из стряпчих не допускать к хождению по делам без одобрительного свидетельства одного из сих училищ». «Таким образом, — писал он, — невежество и ученичество мало-помалу истребились бы между судьями и приказными служителями».
Особенно трудно пришлось Дмитриеву во время Отечественной войны 1812 года. Война принесла ему множество новых дел и хлопот как по Сенату, так и по Министерству юстиции. Работать приходилось очень напряженно. В числе забот министра юстиции и генерал-прокурора Дмитриева были такие вопросы: немедленное обнародование манифестов и указов чрезвычайной важности; подготовка распоряжений по перемещению, временному устройству и восстановлению подведомственных учреждений в областях, подвергшихся нашествию; установление режима военного положения; восстановление порядка и оказание содействия жителям местностей, пострадавших от неприятеля; обеспечение рекрутских наборов и формирование, при содействии гражданских властей, воинских частей и ополчений; надзор за соблюдением интересов казны, борьба со злоупотреблениями при поставке продовольствия и имущества для военного ведомства и т. п.
К министру регулярно поступали донесения губернских прокуроров по всем возникавшим судебным и административным делам и о чрезвычайных происшествиях, о которых он представлял доклад императору. Немало забот доставил и переезд московских департаментов Сената в Казань. Не хватало людей, так как многие чиновники Правительствующего сената и Министерства юстиции, проявляя патриотические чувства, вступали в действующую армию или в народное ополчение.
Однако и в условиях военного времени некоторые вельможи, занимавшие должности в Комитете министров, отступали от интересов закона, на что им всегда указывал Дмитриев как генерал-прокурор. Своей принципиальной позицией он восстановил против себя многих членов комитета, которые стали откровенно противодействовать ему. Постоянно натыкаясь на глухую стену непонимания, Дмитриев подал рапорт об отставке, но император ее не принял, а лишь предоставил ему отпуск на четыре месяца.
Кратковременный отпуск ничего не изменил. Дмитриев встретил все то же враждебное отношение вельмож и к себе лично, и к закону. Наиболее острыми стали его отношения с приближенными к императору сановниками, когда Дмитриев и министр финансов стали активно отстаивать интересы казны от алчных и своекорыстных откупщиков, среди которых выделялся некий Перетц. На министра юстиции посыпались жалобы и доносы. В конце концов, окружение императора сделало свое дело. Александр I открыто выразил Дмитриеву свое «неблаговоление». Это был серьезный удар по самолюбию Ивана Ивановича, несмотря на то, что ранее он сам просился на покой. Дмитриев тут же подал прошение об отставке, которая и была принята 30 августа 1814 года. Управление Министерством юстиции, по его рекомендации, временно было поручено сенатору Алексею Ульяновичу Болотникову. Ему Иван Иванович оставил письмо, в котором, объясняя причины отставки, писал: «Таким образом, я делаю Вас душеприказчиком моей чести».