Алексей Орлов разводил здесь своих знаменитых рысаков и отстроил для них роскошный манеж, а зимой на льду реки проводил бега. Сюда, в Нескучное, часто приезжал его брат Григорий, бывший фаворит Екатерины Второй. Здесь, в Нескучном, он, уже тяжело больной, окончил свои дни.
Григорий Григорьевич Орлов отличался высоким ростом, силой, красотой и отвагой. Постоянно участвовал в кутежах и кулачных боях; прославился своими любовными похождениями. Этим он и привлёк внимание молодой императрицы, стал её любовником и одним из организаторов государственного переворота, в ходе которого погиб император Пётр Третий, а на престол взошла Екатерина Вторая. Она тут же возвела своего фаворита в чин генерал-адъютанта и главнокомандующего сухопутными силами. Лет десять Григорий Орлов был всесилен. Он изменял царственной любовнице напропалую, императрица долго мирилась с этим, а потом вдруг решительно прекратила их связь, отослав Орлова подальше. Тот пытался самовольно вернуться, писал ей письма с мольбами и угрозами, но Екатерина оставалась непреклонна. Она даже выставила заставы на пути из Москвы в Петербург, чтобы не дать Орлову приехать. В то же время Екатерина написала ему несколько писем, где сдержанно и спокойно объяснила, что былого не вернёшь, и просила смириться. Орлов смирился.
В 1776 году он обвенчался со своей юной кузиной Екатериной Николаевной Зиновьевой (об этом его романе мы ещё поговорим). На момент свадьбы невесте было всего тринадцать лет. Синод возмутился и даже настаивал на разводе, но Екатерина это решение не утвердила, более того: наградила его супругу орденом св. Екатерины и сделала её статс-дамой.
Увы, счастья у Орловых не было: жена его заболела чахоткой и в 1782 году умерла. От горя он повредился рассудком и спустя год тоже умер. Екатерина, узнав о его кончине, не просто расстроилось, она слегла от горя, и придворный лекарь даже был вынужден пустить ей кровь, хотя обычно императрица редко пользовалась его услугами, предпочитая «бабкины средства». Всё же Орлов был отцом двух её детей: сына Алексея Бобринского (1762–1813) и дочери Натальи Алексеевой (1758–1808), в замужестве Буксгевден.
При графах Орловых в саду было построено несколько деревянных беседок и два каменных павильона. Сохранились Летний и обгоревший в 2003 году Ванный домики у Елисаветинского пруда и грот. Сохранились и декоративные мостики через пруды. Среди них особо примечателен трёхпролётный каменный арочный мост. Считается, что если влюблённые пройдут по нему, взявшись за руки, и поцелуются, то будут они жить вместе долго и счастливо до самой смерти. На некоторых кирпичах арочного моста можно заметить клеймо «Н. Я», что означает, что они изготавливались неподалёку — в Черёмушках, где владельцем кирпичных заводов был Николай Васильевич Якунчиков.
После смерти Орлова имение досталось его дочери, но та была слишком религиозна и мало заботилась о земном. Имение пришло в упадок и стало приютом для кочевых цыган.
В начале XIX века почти все усадьбы были куплены дворцовым ведомством. Центром ансамбля стал особняк Демидова, а название всему парку досталось от имения князя Трубецкого — Нескучное. Часть земель пошла для строительства больниц — 1-й Градской и Голицынской (в их бывшей усадьбе), а также Мещанского училища. А другую часть Николай I преподнёс своей жене, которую очень любил, назвав в её честь центральный дворец Александрийским (царицу звали Александрой Фёдоровной). Довольная царица принялась за обустройство: приказала соорудить корпуса для фрейлин, для кавалеров, чайные домики и манеж.
Сейчас в здании дворца располагается Президиум РАН (Ленинский проспект, 14), а в здании Орловского конного манежа — Минералогический музей РАН. Каменные парадные ворота Нескучного дворца украшены скульптурными группами, символизирующими изобилие (скульптор — Витали, 1846 г.).
Перед дворцом стоит фонтан, тоже работы Витали. Это часть московского водопровода — один из водоразборных фонтанов: он «переехал» сюда в 1936 году с Лубянской площади.
Напротив дворцовых помещений, на другой стороне Ленинского проспекта, расположен целый комплекс зданий, напоминающих дворец. Когда-то они были Медведниковской и Рахмановской богадельнями и больницей. После революции 1917 года весь комплекс стал Пятой Градской больницей, а с 1992 года — больницей, носящей имя святителя Алексия, митрополита Московского, и недавно полностью переданной Русской православной церкви.