Но императрица не спешила возвращать его. Однако Алексей стал взрослым, ему надоело переезжать с места на место. Он хотел завести семью и иметь постоянное место жительства. И, так как ему не разрешалось проживание в Петербурге, он с «высочайшего разрешения» купил замок Обер-Пален близ города Юрьева (Дерпта) и женился на баронессе Анне Владимировне Унгерн-Штернберг.
Узнав об этом, Екатерина пожелала познакомиться с избранницей сына. Наконец-то Алексей со своей супругой был приглашен в Петербург, где ласково принят Екатериной. В то же время ему дали понять, что проживание в Петербурге неугодно для императрицы. Он вынужден был вернуться в свое имение и жил там до кончины матери.
После смерти Екатерины II его сводный брат, император Павел I, зная о желании Алексея жить в столице, через прокурора графа Самойлова сообщил ему свое желание видеть его в Петербурге «и из оного выезжать он может, когда ему заблагорассудится». По-видимому, Павел, не допускавшийся до «большого двора» и вынужденный довольствоваться жить в Гатчине и Павловске, как нельзя лучше понимал своего сводного брата.
А. Г. Бобринский тотчас же направился в Петербург и сразу явился к Павлу. В тот же день, 12 ноября 1796 года, Павел назначил его командиром эскадрона конной гвардии, произвел в генерал-майоры и возвел в графское достоинство Российской империи. Одновременно император подарил ему бывший огромный дом графа Орлова, так называемый Штегельманский дом. Но немного позднее этот дом был куплен у Бобринского для Александровского сиротского института, а на эти деньги у Мятлевых был приобретен дом-дворец на Галерной.
В этом доме А. Г. Бобринский останавливался по прибытии в Санкт-Петербург. Здесь, отдавая дань моде и своему увлечению астрономией, он устроил башенку, служившую обсерваторией. Но большую часть жизни он проводил в полюбившемся ему местечке Тульской губернии Богородицке, где занимался сельским хозяйством и минералогией.
Он умер в 1813 году, оставив жену, дочь и трех сыновей. После смерти Алексея Григорьевича его жена с детьми избрала постоянным местом жительства петербургский дом на Галерной улице.
По свидетельству современников, его жена, графиня Анна Владимировна, отличалась «веселым характером, добротою в намерениях и простотою в обычаях». Возможно, это и привлекало Пушкина в дом Бобринских, где он неоднократно обедал. «Праздники ее (Анны Владимировны) были не только блистательны, но и носили отпечаток вкуса и художественности», — писал В. Вересаев. Ее ценили и уважали при дворе. По высказываниям современников, «не имея никакого придворного звания, она и в интимном придворном кругу, и на придворных торжествах шла в уровень со статс-дамами».
Сохранились воспоминания о том, что Бобринская очень тепло относилась к Пушкину и не раз, по словам поэта, «выводила его из беды, когда он делал промахи против придворного этикета». Так, например, 18 декабря 1834 года Пушкин записал в своем дневнике: «Придворный лакей явился ко мне с приглашением быть в Аничковом дворце. В девять часов мы с женой приехали. На лестнице встретил я старую графиню Бобринскую, которая всегда за меня лжет и выводит из хлопот. Она заметила, что у меня треугольная шляпа с плюмажем (не по форме: в Аничков ездят с круглыми шляпами). Граф Бобринский (сын) велел принести мне круглую. Мне дали одну, такую засаленную помадой, что перчатки у меня промокли и пожелтели».
Молодой человек, граф Алексей Алексеевич Бобринский, велевший подать новую шляпу поэту в Аничковом дворце, был старшим сыном Бобринских. Как и мать, он очень ценил поэта. Алексей Алексеевич был, как сегодня бы сказали, талантливым «предпринимателем». Его, как и отца, интересовало сельское хозяйство. Он изобрел новый вид сеялок, усовершенствовал плуги и другие сельскохозяйственные орудия, стал основателем нескольких сахарных заводов.
При А. А. Бобринском архитектором Михайловым была произведена крупнейшая переделка дома на Галерной, где его жена, Софья Александровна, по моде того времени, устроила свой салон. Графиня Софья Александровна, урожденная Самойлова, была фрейлиной императрицы Марии Федоровны.
Бракосочетание Бобринского с Самойловой вызвало много толков, так как молодые плохо знали друг друга, их союз произошел по сговору родителей. Но, вопреки ожиданиям, брак их оказался счастливым. Чувство любви и привязанности они пронесли через всю жизнь.