Вместе с тем Державин скоро и самым неприятным для Вяземского образом доказал ему, что «сочинитель» может отлично проявить себя и на служебном поприще. Пришло время составлять смету доходов на следующий год. Ссылаясь на мнимое отсутствие сведений по губерниям, Вяземский распорядился новой сметы не составлять и руководствоваться сметой предшествующего года, хотя в связи с только что произведенной ревизией крестьян в новом году предстояло явное увеличение доходов. У Вяземского были свои основания действовать именно так. От императрицы неоднократно поступали неожиданные, не предусмотренные никакой сметой требования денег: поэтому Вяземскому важно было иметь в своем распоряжении некие резервы, о наличии которых никто не знал. Умение государственного казначея добывать нужные деньги при, казалось бы, полном их отсутствии и было причиной особенной благосклонности к нему Екатерины. Не зная об этом и недоумевая, по его словам, «какая лжи такой и обмана государыни причина», Державин, сказавшись больным, попытался составить примерную смету. Предположения его блестяще оправдались: оказалось, что в новом году доходов должно быть больше, чем в предыдущем, на громадную по тому времени сумму в восемь миллионов. Однако, когда Державин торжественно представил в присутствии всех членов экспедиции Вяземскому свой проект, «вместо благодарности за предостережение и труды, восстала никем не ожидаемая страшная буря». Вяземский приказал проверить составленную Державиным смету другим чиновникам, которые, несмотря на желание угодить князю, вынуждены были признать ее правильность. Вполне понятно, какая «фурия» (бешенство) «представилась на лице начальника, когда он прочел сей акт» (6, 555—556). Тогда Державин, не ожидая ничего доброго, окончательно подал в отставку. Но Вяземского это уже не могло удовлетворить. С этих пор начинается жесточайшее и упорное гонение на Державина со стороны Вяземского и его многочисленных друзей и прихлебателей, причинившее поэту немало как служебных неприятностей, так и личных огорчений и обид.
Позиция самой Екатерины по отношению к Державину оказалась двойственной. Она ничего не имела против сатирических выпадов автора «Фелицы» по адресу ее фаворитов и приближенных: на темном фоне еще ярче выступало ее «сияние». Екатерина даже послала кое-кому из задетых в оде лиц экземпляры ее, подчеркнув места, к ним относившиеся. Но и ссориться всерьез со своими любимцами из-зa смелого поэта и непокорного, слишком самостоятельного чиновника она не хотела. Размышляя впоследствии над отношением к себе царицы, Державин замечал: «Должно по всей справедливости признать... что она, при всех гонениях сильных и многих неприятелей, не лишала его своего покровительства и не давала, так сказать, задушить его; однако же и не давала торжествовать явно над ними огласкою его справедливости... или особливою какою-либо доверенностию, которую она к прочим оказывала» (6, 700). Двусмысленность отношения Екатерины проявилась и в этом случае. Она дала Державину милостивую аудиенцию, просьба о которой прямо содержалась в последней строфе «Фелицы». Вместе с тем прошение его об отставке было принято (напротив, отставка Вяземского, который подал в этом же году аналогичное прошение, возможно, как раз в связи с державинской «сметой», принята не была), и нового назначения не последовало. Екатерина произвела, однако, Державина в следующий чин — действительного статского советника (соответствовал чину генерала) и просила передать, что имеет его в виду, и когда будет нужно, то «позовет». В годовщину со времени опубликования «Фелицы», в мае 1784 года, решив снова «позвать» Державина на службу, она вместе с тем позаботилась услать его подальше от столицы и обиженных им лиц, назначив губернатором в глухую Олонецкую губернию. Сам Державин прямо рассматривал это назначение как своего рода «ссылку» (1, 169). Иронически величал олонецкого губернатора «изгнанным мурзой» и его непосредственный начальник, наместник Тутолмин, который постарался сделать это изгнание возможно тягостнее, заслав Державина еще дальше, на самое побережье Белого моря, в непроходимые тундры и болота, «открывать» новый город — Кемь, как на месте выяснилось, существовавший еще только на бумаге. Из длительного и трудного пути по бездорожью — то водой, то верхом, то в телеге — поэт вынес немало сильных впечатлений: насмотрелся на величественные картины северной природы, видел водопад Кивач, воспетый им позднее в оде «Водопад», чуть не погиб со своими спутниками во время бури на Белом море. Державину были ясны причины нерасположения к нему Тутолмина, близкого друга Вяземского. «Я увидел тогда, что многие знатные люди стихотворства моего не жалуют, а меня гонят, и на несколько лет совсем оставил поэзию». Действительно, в течение своего олонецкого губернаторства Державин написал всего лишь одно стихотворение — подражание псалму «Уповающему на свою силу», навеянное столкновениями с Тутолминым. В следующие же два года (1786, 1787) поэт, видимо, и вовсе ничего не писал. Всю свою энергию Державин обратил на ревностное выполнение служебных обязанностей.