В середине 1830-х годов высшая власть уделяла пристальное внимание и провинциальной администрации. Децентрализация, внесенная в местное управление реформами Екатерины II, еще более укрепилась с возникновением министерств. Сохранение должностей генерал-губернаторов и губернаторов, подчинение их правлений и канцелярий различным министерствам и ведомствам вносили хаос и неразбериху в местным аппарат управления. «Нет единства, нет общих распоряжений, нет никакой энергии в действиях министерства. Губернаторы управляются, как умеют, и многие из них жалуются, что не имеют для действий своих надлежащего руководства и что в нужных случаях лишены они всякого содействия со стороны министерства к исполнению предполагаемых ими полезных мер», – докладывал Бенкендорф императору в 1835 году.
В 1837 году при участии Блудова была проведена реформа губернского управления – должность генерал-губернатора отменялась, главой администрации на местах становился губернатор. Однако и эта акция МВД имела отклик самый неблагоприятный. «Изданный в нынешнем году Наказ гражданским губернаторам, – сказано в отчете III отделения, – огромный по своему объему, никем не одобряется. Губернаторы, коих суждения мы имели случай слышать, отзываются, что Наказ сей, особенно та часть оного, которая касается до губернских правлений, крайне затруднит их действия по управлению губерниями; что он даже во многих частях его совершенно неудобосполним, ибо составлен вовсе без практического знания губернского правления… Находят, наконец, что Наказ губернаторский уже окончательно разрушает существовавшее еще поныне предубеждение, что губернатор есть начальник, хозяин губернии, наместник в ней государя; что во всей наготе обнаруживает его ничтожность, являя его ничем более, как старшим членом губернского правления. Издание сего Наказа много повредило министру внутренних дел, не скажем – в общем мнении, ибо немногие его читали, но в мнении тех должностных людей, и особенно губернаторов, которые имели надобность в него вникнуть. Мы должны сознаться, что ни здесь, ни в Москве ни от кого не слыхали ни слова одобрения сему пространному собранию узаконений, но напротив, все те, кои обратили на него свое внимание, единогласно его осуждают».
Однако самые серьезные нарекания слышались в адрес министра внутренних дел по вопросу подбора кадров на губернаторские посты. В 1832 году Бенкендорф с надеждой писал: «Замечают, что нынешний министр внутренних дел в выборе гражданских губернаторов гораздо разборчивее, чем был его предместник, но известно, что Министерство внутренних дел встречает затруднения находить достойных губернаторов; звание сие в общем мнении, видимо, потеряло свою значительность, и люди образованные и с достатком отклоняются от сей должности, зная, с какою она сопряжена трудностью и строгою ответственностью и сколь ничтожны средства, коими губернатор должен действовать». Но затем III отделение с горечью констатировало: «Не заметно, чтобы министр внутренних дел обращал должное внимание на гражданских губернаторов. Предмет сей, хотя бы и долженствовал быть для него главнейшим, не много, однако, кажется, его озабочивает. Мы приведем в пример Вологодскую губернию. Странно и невероятно, может быть, покажется, ежели мы скажем, что тамошний губернатор горький пьяница; министру это известно, и за всем тем он его терпит» (1835). «Неразборчивое назначение губернаторов есть главный упрек, который в общественном мнении лежит на нынешнем министре внутренних дел. Замечают, что он мало заботится узнавать людей способных к занятию сей важнейшей для благосостояния государства должности и что, не имея никого в виду, он берет кого попало и кого ему дадут» (1838).
Оказалось, что начитанности и знания иностранных языков недостаточно, чтобы быть хорошим министром внутренних дел. Уже в 1833 году высший надзор информировал императора о деловых качествах Блудова: «Ожидали от него улучшений в частях его управления, почитая его человеком умным и просвещенным. Но ожидания сии не сбылись. Министр внутренних дел очевидно упал в мнении общем. Ныне о нем говорят, что хотя он и имеет просвещение, но просвещение иностранное; что он знает очень хорошо о том, что происходит в других государствах, но весьма малое имеет понятие о положении и потребностях своего отечества; что он мало занимается делами, но читает всевозможные иностранные журналы, любит общества и ведет жизнь рассеянную…».
Выждав некоторое время, Николай I счел, что «просвещение иностранное» пригодится Блудову на посту министра юстиции, на котором он и сменил своего друга Дашкова в 1839 году. Однако и здесь отсутствие твердости и терпения, «легковерие и слабость характера», подверженность влиянию дам и высшего общества сильно вредили Блудову в глазах публики. Продержавшись в новом министерском кресле около года, 1 января 1840 года Блудов был назначен председателем департамента законов и главноуправляющим II отделения Собственной Его Императорского Величества канцелярии. Министерских постов в его карьере больше не было.