Усадьба была конфискована и перешла в казну. Ею распорядилась сама императрица, подарив огромную усадьбу своему фавориту, очаровавшему веселую императрицу красотой и прекрасным голосом - он был певчим в придворной капелле. Алексей Разумовский после дворцового переворота, в котором он принимал непосредственное и активное участие, и после тайного брака, заключенного в подмосковной царской усадьбе Перово, получил звание действительного камергера, а после коронации был пожалован кавалером первенствующего российского ордена св. Андрея Первозванного, стал графом и владельцем поместий под Москвой и в Малороссии. Он не вникал в государственные дела, занимаясь больше придворными увеселениями, особенно по музыкальной части. Жил он большей частью в Петербурге, где и умер в 1771 г. Прямых наследников у него не было (правда, много ходило рассказов о его детях от брака с Елизаветой Петровной), и московский дом перешел к брату Кириллу Григорьевичу, когда-то пасшему волов, а со "случаем" брата Алексея, получившему чин генерал-фельдмаршала и ставшему не только малороссийским гетманом, но и президентом Академии наук.
Московская усадьба стала обстраиваться только после его кончины, когда она перешла к старшему сыну гетмана графу Алексею Кирилловичу, сделавшему солидную, хотя и не головокружительную карьеру, не сравнимую с карьерами своего отца и дади - он был только камергером и сенатором. В 1795 г. Разумовский вышел в отставку, переселился в столицу всех отставных сановников Москву и зажил в ней большим барином. Ему принадлежали дворец на Воздвиженке, построенный для его отца, может быть, самим Баженовым, и небольшой дом напротив, на углу Шереметевского переулка. В 1800 г. граф Разумовский решил продать эти дома и переехать в спокойное московское предместье, в отцовскую усадьбу на Яузе, где он задумал создать роскошный дворец и парк. В мае 1800 г. Контора городских строений выдала разрешение на постройку усадебного дома, законченного к 1803 г., по проекту, как считает историк архитектуры А. К. Андреев, одного из самых самобытных и талантливых архитекторов XVIII в. Н. А. Львова.
Большой дворец стоит в глубине парадного двора, ограниченного по бокам двумя флигелями, выходящими на красную линию улицы. Центральная часть дворца выделяется богатой обработкой сдвоенных колонн на выдвинутых вперед портиках и прекрасного рисунка полукруглой лоджией с кессонированным полукуполом и дверью в центре, куда ведут два марша лестницы. Эта часть дворца была по желанию владельца построена из дубовых брусьев, поставленных вертикально. Тут, в самой здоровой части дома, и находилась хозяйская спальня, ибо тогда полагали, и. вероятно, не без основания, что значительно полезнее для здоровья жить в деревянном, а не каменном доме. Дом отделали с необыкновенной даже для тех расточительных времен роскошью, и истратили на него, как полагали, более миллиона рублей. Дорогие зеркала, бронза, позолота украшала дворец, стены многих комнат порывали редчайшие гобелены, а подоконники делались из ляпис-лазури, ценного поделочного камня. Жозеф де Местр писал о дворце Разумовского, что он "превосходит все, что можно видеть в этом роде в Европе". По роскоши с дворцом соперничал обширный парк площадью более 28 десятин, раскинувшийся по обеим берегам Яузы, полный редких растений, с беседками, статуями, с целой системой прудов и каналов.
При Александре 1 А. К. Разумовский вернулся на государственную службу, став министром народного просвещения. Он уделял большое внимание распространению образования: в первые же годы были открыты 42 приходских и 24 уездных училищ, несколько гимназий и институтов. Он же основал царскосельский лицей, присутствовал при вступительных и переводных экзаменах. Страстью его была ботаника, которой он всерьез занимался, создав прекрасные коллекции как в московской усадьбе, так и в своей подмосковной в Горенках. Разумовский ушел в отставку в 1816 г. и через шесть лет скончался. После смерти А. К. Разумовского дворец и усадьба перешли к сыну, известному своим беспутством и расточительной жизнью.
Летом 1827 г. в одном из флигелей усадьбы поселился великий польский поэт Адам Мицкевич, сосланный в Россию за участие в студенческом кружке, члены которого мечтали о независимости своей родины. Мало что осталось тогда от великолепия графской усадьбы - прекрасный сад разросся, заглох и был похож более на запущенный лес; возможно, что под влиянием такой романтической обстановки Мицкевич работал здесь над переводами из Томаса Мура и Гете. Когда-то роскошная усадьба с 1828 г. стала собственностью одесского купца М. Е. Юркова, и богатые коллекции стали распродаваться за бесценок, а то и просто расхищаться.
Через пять" лет усадьбу приобрел Опекунский совет, и с тех пор в продолжение почти всего XIX в. в бывшем дворце находились всякого рода благотворительные и учебные учреждения. Сразу после покупки Совет разместил в усадьбе "приют для призрения сирот обоего пола чиновников, умерших от холеры", преобразованный в Александринский сиротский институт; в 1842 г. открылось "малолетнее отделение Института обер-офицерских сирот", переименованное в Александринское сиротское малолетнее отделение; позже там же обосновались фельдшерская школа на 300 питомцев Воспитательного дома и богадельня на 100 престарелых женщин; в продолжение десяти лет (1876 - 1886 гг.) тут находилась учительская семинария, некоторое время отдавали здание внаем, ас 1901 г. поместилось "убежище государыни императрицы Марии Федоровны для заслуженных воспитательниц учреждений Императрицы Марии".
В Александринское сиротское отделение, в просторечии называвшееся Разумовским пансионом, летом 1876 г. отдали А. И. Куприна, пробывшего там до 1880 г., когда он поступил во 2-й кадетский корпус. С пансионом связан его первый литературный стихотворный опыт.
В советское время во дворце устроился физкультурный институт, занимавший его много лет. Физкультурники столь рьяно занимались там спортом, что довели бывший дворец до того, что он превратился почти в руину, на восстановление которой уже ни у кого нет средств.
На том же участке были построены и другие здания, которые также принадлежали к ведомству императрицы Марии и, в частности, 2-й женской гимназии, встроенные теперь в советское здание (ул. Казакова, 16).
Напротив него также советское здание, в котором находится "университет", как теперь стали называться бывшие институты - здесь с начала 1930-х гг. находится Институт землеустройства, на что указывали два больших глобуса, стоящие по обеим сторонам парадной лестницы (сейчас они, правда, больше похожи просто на декоративные шары, а когда-то на них можно было увидеть материки и океаны). На здании находится мемориальная доска, посвященная С. А. Удачину, видному землеустроителю, выпускнику института, проработавшему в нем всю жизнь.
Поблизости, в Нижнем Сусальном переулке (название его - от фабрики сусального, т. е. в тонких листах золота) были выстроены живописные сооружения московского газового завода. В 1865 г. город решил ввести освещение "текучим", как тогда говорили, газом, и тогда же был заключен контракт на строительство завода по сухой перегонке каменного угля, прокладке труб и постановке фонарей. Через три года в Москве уже горело более трех тысяч фонарей, но частная компания несла крупные убытки, ибо к газовой сети никто из абонентов не спешил подключаться, все предпочитали обходится по старинке - свечами. Только в 1905 г. все предприятие перешло к городу и стало с тех пор интенсивно развиваться.
Улица Гороховое поле была застроена, в основном небольшими деревянными зданиями, среди которых появлялись и каменные особняки, такие, как например, дом N 23, выстроенный для бронницкого купца второй гильдии И. Н. Демина архитектором В. И. Веригиным в 1885 г. (флигель справа - 1893 г. архитектор Н.Д. Струков). В советское время особняк был занят Государственным электротехническим институтом, а теперь в нем информационный центр военно-космических сил.