8 сентября 1802 года император Александр I подписал Манифест, в котором сообщалось: «Мы заблагорассудили разделить государственные дела на разные части, сообразно естественной связи между собою, и для благоуспешнейшего течения поручить оные ведению избранным министрам…» В тот же день последовал высочайший указ Правительствующему сенату: «Министром Юстиции или Генерал-Прокурором повелеваем быть Действительному Тайному Советнику Державину, предоставляя впредь назначить ему Товарища». Спустя несколько дней Державин был приведен к присяге. В конце сентября он одновременно стал членом Непременного совета, а в ноябре того же года еще и членом Еврейского комитета.
В должности министра юстиции беспокойный Гаврила Романович прослужил один год и, как сам писал, всегда шел «по стезе правды и законов, несмотря ни на какие сильные лица и противные против него партии», «держась сильно справедливости, не отступал от нее ни на черту, даже в угодность самого императора». Он действительно не стеснялся открыто выражать свое несогласие со многими его преобразованиями, резко и открыто порицал молодых советников императора.
Трудился он много и неустанно. Ежедневно, с утра до вечера, посвящал все свое время исполнению разнообразных служебных обязанностей: поездкам во дворец с всеподданнейшими докладами, участию в заседаниях Сената и Комитета министров, «объяснениям» с обер-прокурорами, приему посетителей. Ездил в Сенат даже в воскресенье и праздничные дни – посмотреть целые кипы бумаг и написать заключения. Как генерал-прокурор он пытался противостоять приему в высшие государственные органы лиц по «проискам, взяткам и рекомендациям», с этой целью добился принятия указа о том, чтобы на высокие должности отбирались лучшие чиновники из губерний. Долго и упорно разрабатывал проект закона о третейском совестном суде, который отослал «на отзыв» и «для примечания» известным юристам, получив благожелательные отклики. Александру I проект закона также понравился, но так и не был принят.
Занимая должность министра юстиции и одновременно генерал-прокурора, Державин, как обычно, старался не допускать «утеснения сильной стороне людей бессильных». Он умело подбирал себе толковых, талантливых сотрудников. Например, обер-прокурором третьего департамента Сената назначил тридцатилетнего Дмитрия Осиповича Баранова, окончившего Московский благородный пансион. Он совершил несколько успешных инспекционных поездок, активно занимался и литературной деятельностью, общался с А. С. Пушкиным. Его репутация была безукоризненной.
Обер-прокурор Сената князь А. Н. Голицын так писал о нем: «В минуту желчи гений блестел в его глазах; тогда с необыкновенной проницательностью он охватывал предмет; ум его был вообще положителен, но тяжел; память и изучение законов редкая; но он облекал их в формальности до педантизма, которым он всем надоедал. Олицетворенную честность и правдивость его мало оценивали, потому что о житейском такте он и не догадывался, хотя всю службу почти был близок ко Двору».
Добиваясь справедливости, Державин резко выступал против многих министров и сенаторов, чем нажил себе немало врагов. Вскоре по этой причине положение Державина стало неустойчивым. Александр I также быстро охладел к поэту. Отставка не заставила себя ждать. На прямой вопрос генерал-прокурора, за что его увольняют, император ответил: «Ты очень ревностно служишь». – «А как так, государь, – не согласился Державин, – то я иначе служить не могу. Простите». 8 октября 1803 года император подписал указ – Державин был уволен со службы с пожалованием ему 10 тысяч рублей ежегодного пенсиона. Сорокалетняя служба Гаврилы Романовича на военном и государственном поприще завершилась.
Недруги ликовали. Появились пасквили и эпиграммы вроде следующей: «Ну-ка, брат, певец Фелицы, на свободе от трудов и в отставке от юстицы наполняй бюро стихов. Для поэзьи ты способен, мастер в ней играть умом, но за то стал неугоден ты министерским пером…»
Вряд ли отставка сильно огорчила поэта – теперь он всецело посвятил себя литературному труду. Зимнее время проводил в Петербурге, а на лето отправлялся в Званку – свое имение на берегу Волхова, верстах в пятидесяти пяти от Новгорода. В знаменитом стихотворении «Евгению. Жизнь Званская» он красочно изобразил, насколько сельская жизнь ему милее дворцовых интриг. Писал он и лирические стихотворения, и драматические произведения («Добрыня», «Пожарский, или Освобождение Москвы»); трагедии («Ирод и Мариамна», «Евпраксия», «Темный»), комические оперы («Дурочка умнее умных», «Рудокопы»). Работал над сборником афоризмов «Мысли мои», над философско-политическими статьями, занимался переводами. В 1804 году Державин писал Капнисту: «Скажу вам о себе: я очень доволен, что сложил с себя иго должности, которое меня так угнетало, что я был три раза очень болен».