В расписке, составленной 2 сентября пред полуднем, о получении отцовского письма граф Андрей пишет, что разделом имущества доволен и выражает отцу благодарность.
После обручения с княжной Долгорукой, которое 5 июня 1765 года императрица на очередном куртаге свершила лично, 19 октября 1765 года состоялась свадьба. Но уже через год супруги развелись: граф Андрей обращался с ней грубо и жестоко, и после развода Анна Петровна удалилась к своим родителям.
Порошин в своих записках за декабрь 1765 года отмечает: «Разговаривали о графе Андрее Алексеевиче Бестужеве, который недавно женился на княжне Долгоруковой. 24-го числа нынешнего месяца обобрал он её и сбил её со двора. Велено к нему приставить гвардии офицера с солдатами и отдать его отцу в полную диспозицию».
Разгневанный Алексей Петрович распорядился на сей раз круто: он попросил императрицу лишить сына чинов и орденов и сослать его в Свирский Александровский монастырь. Сначала императрица не сочла проступки Андрея Бестужева слишком тяжёлыми, чтобы помещать его в монастырь, но потом вняла просьбам отца, и граф Андрей Алексеевич всё-таки очутился в монастыре. Письмом от 31 января 1766 года Екатерина просила митрополита Новгородского Дмитрия Сеченова «дать повеление архимандриту того монастыря, чтоб он, Бестужева туда приняв, содержал по предписанию отцовскому, под началом до тех пор, доколе нового повеления о свободе его не последует».
Андрей Алексеевич просидел в монастыре до мая 1766 года, а потом был освобождён с предписанием жить «смирно и допропорядочно, где пожелает, кроме своих деревень». Свобода, вероятно, последовала согласно предсмертному указанию отца, тихо скончавшегося 10 апреля того же года. Отец намеревался лишить сына наследства, но не успел. Над имением и недвижимым имуществом бывшего великого канцлера — при жизни он был владельцем нескольких деревень в разных губерниях империи и 4225 крепостных душ, — по просьбе племянников была учреждена опека «за развратною и неистовою жизнью графа Андрея». Половину доходов граф Андрей с имущества отца всё-таки получил, а половина пошла на уплату его долгов. Распоряжаться наследством граф Андрей, однако, не мог, над ним было учреждено попечительство, и попечители выдавали ему на руки по 3 тысячи рублей в год.
Умер граф Андрей в 1768 году бездетным в Ревеле. С ним прекратился род Бестужевых-Рюминых, потому что и у его дяди, Михаила Петровича, детей не было. Как писал историк Бюшинг, «он оставил в 1768 году мир, для которого был бесполезен».
Об обстоятельствах смерти самого великого канцлера или о его похоронах никто из современников воспоминаний не оставил. По всей видимости, он скончался тихо в своём доме и тихо, по-домашнему, был предан земле.
М.М. Щербатов писал о том, как несправедливо Екатерина II обошлась со своим другом, оказавшим ей в своё время бесценные услуги: «…Граф Алексей Петрович Бестужев, спомоществующий ей, когда она была великою княгинею, во всех ея намерениях и претерпевший за неё несчастие, при конце жизни своей всей её поверенности лишился, и после смерти его она его бранила».
ЛИЧНОСТЬ БЕСТУЖЕВА-РЮМИНА
Посол Великобритании при дворе Екатерины II Д. Бэкингхэмшир дал нашему герою такую беспощадную характеристику: «Вначале он обладал довольно живым темпераментом, а благодаря положительному опыту приобрёл общее знакомство с европейскими делами. Хотя он до крайности распутен, бесстыден, лжив и корыстолюбив, однако преобладающей его страстью является стремление передать своё имя потомству. Это побуждает его рисковать в последние дни жизни навлечением на себя новой опалы и тратить остатки своего существования на слабую борьбу с целью приобресть положение, которого он, за физической и умственной дряхлостью занимать не может».
Современный русский историк Е. Анисимов пишет: «Нет сомнений — канцлер был продажен, брал взятки ото всех держав, но, тем не менее, держался раз и навсегда принятой ещё при Петре Великом дипломатической доктрины — ориентироваться в политике на те государства, с которыми у России общие долговременные имперские интересы».
Сокрушительно-негативную характеристику даёт Бестужеву-Рюмину Валишевский: «В России в политике Бестужева усмотрели в качестве руководящей нити национальную идею, глубокое понимание истинных интересов и естественных судеб страны. Вышеприведенные факты достаточно ярко показывают шаткость этого тезиса… Бестужев имел за собой то преимущество, что был или казался русским в ту минуту, когда естественная реакция вооружала народные чувства против иностранцев; кроме того, у него не было ни серьёзного соперника, ни преемника… Цинически развратный, корыстный под покровом невозмутимого и безукоризненного внешнего достоинства, он не приобрёл личной благосклонности Елизаветы, но зато завоевал симпатии среды, где под ярлыком национализма снисходительный режим поощрял развитие некоторых пороков, и в нынешнее время считающихся национальными, тогда как они являются лишь историческим пережитком совокупности чуждых русскому духу влияний».