Предчувствуя близкую свою кончину, граф Федор в начале 1796 г. приехал в Санкт-Петербург для аудиенции с государыней. 27 апреля 1796 г. воспитанники графа – Владимир, Алексей, Михаил, Григорий, Елизавета, Федор и Анна были возведены в дворянское достоинство. Детям присвоены фамилия и герб Орловых, а дворянская грамота выдана им 16 декабря 1796 г., когда ни графа Федора, ни самой государыни уже не было в живых.
Сироты оказались под опекой дядей Алексея и Владимира, младших отдали Т.Ф. Ярославовой.
Владимир Федорович Орлов (27.09.1775-20.03.1797), по веским предположениям, был побочным сыном не Федора, а его брата Алексея – не исключено, что от принцессы Елизаветы, известной более как «княжна Тараканова». Владимир достиг совершеннолетия (21 год), и ему была заказана «мундирная пара», куплены сапоги, башмаки, пудра, помада, но он безвременно умер. Еще раньше скончалась пятилетняя «болярышня» Елизавета Федоровна Орлова (26.03.1791-30.09.1796).
Анна Федоровна Орлова (9.09.1795-10.10.1830), девушка пылкого нрава, вышла замуж за известного сановника Александра Михайловича Безобразова, который, по свидетельству Ф.Ф. Вигеля, «был уродливо-дурен собою, а в него влюбилась богатая красавица, вопреки воле матери, ушла с ним и обвенчалась». Умерла она, рожая мужу пятнадцатого ребенка.
Алексей Федорович Орлов (8.10.1786-9.05.1861) и его братья Михаил и Григорий обучались в аристократическом пансионе аббата Николя в Петербурге, участвовали в войнах против Наполеона. Военная и дипломатическая карьера Алексея сложилась наиболее удачно. 25 декабря 1825 г. он был произведен в графское достоинство за помощь Николаю I в подавлении мятежа декабристов, а 26 августа 1856 г. – в княжеское достоинство за подписание Парижского мирного договора. Алексей Федорович был награжден всеми орденами Российской империи и орденом Св. Георгия 4-й ст. (за Лейпциг). Выручал и спасал братьев Михаила и Федора из тягостных ситуаций, в которые младших Орловых нередко вовлекал их пылкий характер.
14 мая 1826 г. Алексей Федорович венчался с Ольгой Александровной Жеребцовой (7.01.1807-25.08/6.09.1880). Кроме дочери Анны (24.11.1828-8.01.1829), в этом браке был единственный сын – князь Николай Алексеевич Орлов (27.04.1827-17/29.03.1885), крестник Николая I и графини Анны Алексеевны Орловой-Чесменской, известный дипломат и писатель, герой Крымской войны, в которой лишился глаза и получил несколько тяжких увечий.
21 мая 1858 г. в Париже он женился на княжне Екатерине Николаевне Трубецкой (1840-22.07/4.08.1875), дочери князя Николая Ивановича Трубецкого (1807–1874), от которого в род князей Орловых перешло имение Бельфонтен в городе Фонтенбло. У супругов было четверо детей, из которых сын и дочь умерли в детстве, а двое сыновей, Алексей и Владимир, выслужили генеральские чины.
Князь Алексей Николаевич Орлов (6/18.04.1867-19.09/2.10.1916) образование получил в московском Императорском Лицее в память Цесаревича Николая, куда поступил 16 августа 1881 г. и выбыл из VII класса в 1884/85 учебном году. В службу вступил 15 августа 1885 г.
Выдержав офицерский экзамен при Тверском кавалерийском юнкерском училище, Алексей 6 ноября 1886 г. был определен корнетом в 30-й драгунский Ингерманландский полк. В 1887 г. князь был переведен корнетом гвардии в лейб-гвардии Конный полк, а 25 марта 1891 г. произведен в чин поручика. Человек плотного, могучего телосложения, щеголь и женский баловень, князь прославился в Петербурге знаменитым «пивным поединком». Однажды он поспорил с германским офицером, который заявил, что русские офицеры против кайзеровских никуда не годятся, они даже пить не умеют, и вызвал его на пивную дуэль, как полагается, с секундантами и врачом. Соперники потчевались куантро – изысканным французским ликером. После восемнадцатой рюмки куантро немец свалился под стол, а Орлов спокойно осилил 112 рюмок, затем встал и удалился, «свежий как ромашка».
С 14 мая 1894 г. князь состоял при Императорском Российском посольстве в Париже. 9 апреля 1896 г. назначен помощником военного агента в Париже, а с 21 апреля 1901 г. состоял в постоянной командировке при Императорском Российском посольстве в Париже. Жил в доме на рю Доменик, 45, доставшемся от матери. Как живописала французская пресса, когда князь Орлов выходил из дому в сверкающей рыцарской кирасе, в обтягивающих белых лосинах, в шлеме с двуглавым царским орлом, все женские сердца на рю Доменик начинали «стучать в унисон». В 1909 г. он выслужил чин генерал-майора царской свиты, получил 17 российских и иностранных орденов. Содержания на службе не получал, не считая возможным обременять казну.