Десятилетняя карьера главы государственной безопасности окончилась неожиданно для него самого. Весной 1866 г. Долгоруков составлял отчет за предшествующий 1865 г., в котором отмечал укрепление позиций самодержавия за счет поддержки народа и патриотических чувств, проявленных русской армией при подавлении восстания в Польше. Большие надежды возлагал и на земства, в которых, по его мнению, успешно сочетаются местное самоуправление и монархическая власть; радовал его новый закон относительно прессы, позволяющий чиновникам закрывать политически вредное издание. Начальник Третьего отделения полагал, что эти факты привели к спаду «революционных и утопических настроений» в печати. Россия, заключал Долгоруков, твердо стала на путь реформ благодаря моральной силе правительства. Не успел он завершить свой оптимистический отчет, как 4 апреля 1866 г. бывший студент Московского университета Д.В. Каракозов стрелял в царя, и лишь случайность спасла жизнь Александру II. Этот выстрел открыл целую череду покушений на императора, предотвратить которые государственная безопасность оказалась не в состоянии. Хотя первая попытка цареубийства была неудачной, она не прошла бесследно ни для внутренней политики государства, ставшей поворачивать в сторону реакции, ни для императорского окружения, так или иначе связанного с прежним курсом. «Пуля Каракозова попала не в государя, но в целую толпу лиц, ему близких», – записал по этому поводу в своем дневнике А.А. Половцов. Одним из этих лиц оказался Долгоруков, который счел за лучшее подать в отставку через четыре дня после покушения. Александр II принял отставку. Впрочем, император не держал зла на него и уже через семь дней назначил Долгорукова обер-камергером своего двора. За десятилетия службы Долгоруков был награжден орденами Св. Владимира 4-й степени с бантом, Cв. Анны 2-й степени и высшим российским орденом – Св. Александра Невского.