В конце 1747 года молодые супруги были посланы в Вену с поздравлениями по поводу рождения эрцгерцога Леопольда. Венский двор тепло их принял, но в поездке Андрей Алексеевич дал волю своему расточительству, дорого стоившему отцу. Это дало повод к новым ссорам между супругами и, по утверждению историка семьи Разумовских А.А. Васильчикова, граф скоро вогнал Авдотью Даниловну в гроб. Она скончалась 14 мая 1749 года, и вдовец с горя ударился в пьянство и дебоши. Не помогло и вмешательство Елизаветы, посылавшей в дом к Бестужеву барона Миниха-младшего, чтобы урезонить буяна, а потом ещё издавшей специальный именной указ по этому поводу.
После смерти супруги Андрей Алексеевич был назначен комендантом в Нарву, но и здесь он не замедлил проявить свой буйный нрав и «задор»: злоупотреблял самоуправством, бранил людей непотребными словами, грозился высечь чиновников кнутом, а с людьми нечиновными вообще не чванился и бил их по щекам, наказывал палками, сёк нещадно, уводил чужих жён.
После падения в 1757 году канцлера сын его последовал вслед за ним в ссылку в Горетово, и там, в деревне, дурные наклонности младшего Бестужева получили дальнейшее развитие. Кроме увлечения хиромантией и прочими, по выражению отца, «суеверствами», он нашёл себе товарища по кутежам в лице караульного офицера, приставленного к отцу, «предался великому пьянству». Он постоянно ссорился с Алексеем Петровичем, прилюдно обзывал его изменником и государственным преступником, оскорблял память матери, науськивал слуг против отца, так что тот был вынужден обратиться с жалобой к духовнику Елизаветы Петровны Ф.Я. Дубянскому. Жалоба возымела действие, императрица приказала сменить караульного офицера, а касательно самого молодого Бестужева Тайная канцелярия предписала «смирить его в чинимых им беспокойствах по воле родительской». Как был наказан пьяница и дебошир, история умалчивает, но, кажется, нужных выводов он для себя не сделал. «Но и тут немного ж времени прошло, как ты опять не токмо за пущее пьянство и горшие… отважнейшие мне оскорбления, но и за самую явную против меня злобу взялся», — писал Алексей Петрович сыну уже в 1765 году.
«Злоба» и «горшие оскорбления», о которых упоминал Бестужев-отец, состояли не только в побоях отца, но и возведении на него клеветы и в попытках присвоить права на его недвижимое имущество.
После снятия Екатериной II опалы с Алексея Петровича сын решил примириться с отцом и попросил у него прощения, и Алексей Петрович возобновил о нём свои попечения. По его просьбе Екатерина «утешила» графа Андрея, который уже имел чин генерал-поручика, действительным камергером и кавалером орденов Святых Александра Невского и Анны, и в 1762 году присвоила ему высокий чин действительного тайного советника.
Но и после этого Андрей Алексеевич не успокоился и продолжал испытывать терпение отца. Он прогневал его в очередной раз и в очередной раз попросил у него прощения, о чём свидетельствует его письмо от 6 февраля 1763 года, писанное из Москвы. «Милостивый государь родитель! Бог сам да будет мне судья здесь и на оном свете, если я когда-либо с умыслу искал вас оскорблять, а потому нижайше и со слезами прошу о прощении», — начинает он письмо, а затем сообщает, что поскольку сам он припасть к ногам родителя не может, то посылает ходатая — Лукьяна Ивановича Камынина, племянника Алексея Петровича.
Бедный старик растрогался и простил единственного сына, который в письме от 9 февраля 1763 года благодарил отца и клялся вести себя подобающим образом и во всём слушаться родителя. В противном случае он был готов отдать себя на полную родительскую волю и снести от отца любое наказание, которое тот только придумает. Естественно, слова своего Андрей Алексеевич не сдержал и занялся своим обычным делом — дебоширить, пьянствовать, клеветать на отца, оскорблять людей, драться со слугами и людьми ниже себя по званию.
Сохранилось ещё одно его покаянное письмо отцу, от 19 марта 1765 года, в котором он, отвечая на письмо Алексея Петровича от 9 марта, «последнее крепкое на письме увещание», перечисляет и «с крайним сокрушением сердца, к собственному стыду» признаёт все свои прегрешения, допущенные «по вкоренившейся… слабости к пьянству» — неповиновение родителям, игнорирование указов императрицы, пьянство, презрение увещеваний духовника, избиение слуг родителя, ночной скандал со слугой Алексея Петровича Иваном Белым перед спальней отца и др., — и обещает… исправиться.