С именем молодого графа Разумовского и этой усадьбой связана одна замечательная любовная история. Граф без памяти влюбился в княгиню Марию Григорьевну Голицыну, урождённую Вяземскую. Муж молодой женщины, Александр Николаевич Голицын, полный тёзка и дальний родственник главы Министерства духовных дел, был человеком беспутным и грубым. Несметно богатый, он умудрился просадить всё своё огромное состояние. Жену он одевал роскошно, но ходили слухи, что временами он бил её.
Лев Кириллович, узнав об истязаниях, поначалу хотел вызвать князя на дуэль, но потом выбрал оружие иное: он сошёлся с ним за игорным столом. Игра длилась всю ночь, и удача была на стороне Разумовского. В итоге Разумовский выиграл у Голицына всё, фактически разорив его. Тогда и состоялась финальная заключительная партия. Лев Кириллович предложил ему поставить на кон жену в обмен на всё, что он в ту ночь выиграл у Голицына. Князь поначалу отказался, но в ответ Разумовский заявил, что в таком случае покидает его гостеприимный дом и завтра пришлёт за своим выигрышем. Понимая, что он не сможет выплатить всё сполна, Голицын остановил графа и согласился продолжить игру. Карты были розданы, и Голицын снова проиграл. В ту ночь Лев Кириллович уехал из дома Голицыных, забрав с собой Марию Григорьевну, весь остальной свой выигрыш он оставил князю.
Трудно описать, какой из всего этого вышел скандал! Даже ненавидевшая мужа Мария Григорьевна была глубоко оскорблена тем, что её разыграли в карты, словно собаку или лошадь, или, на худой конец, крепостную девку. Шокирующую историю обсуждали в Москве и Петербурге, огласка помогла Голицыным оформить развод: услышав о произошедшем, патриарх пришёл в ужас от надругательства над таинством брака и лично развёл супругов. После этого Мария Григорьевна и Лев Кириллович обвенчались, но оба оказались в положении отверженных светом. Особенно незавидным было положение Марии Григорьевны: свет не мог ей простить, что вместо того чтобы удалиться в монастырь и там оплакивать свою участь, она живёт с новым супругом и живёт счастливо.
На помощь пришёл сам император Александр Первый. На больших светских балах Разумовские появляться не могли, они посещали только маленькие семейные праздники с танцами. На один из таких праздников в доме Кочубеев неожиданно прибыл государь и, демонстративно пройдя через весь зал, пригласил Марию Григорьевну на танец, причём обратился к ней по титулу второго мужа: графиня. Это положило конец отверженности влюблённой пары.
Мария Григорьевна и Лев Кириллович прожили вместе шестнадцать лет, детей у них не было. И они взяли в семью воспитанника и двух воспитанниц (шептались, будто это были внебрачные дети Разумовского). Граф Лев Кириллович умер в 1818 году, его супруга пережила мужа на 47 лет. Под конец жизни она, как и оба её мужа, пристрастилась к азартным играм. Считается, что история их любви легла в основу поэмы Лермонтова «Тамбовская казначейша».
Наполеоновские войска не обошли стороной Петровско-Разумовское: в нём расположилась на постой конная армия маршала Нея. А в середине XIX века поместье выкупила казна — для учреждения академии. Но даже это мирное учебное заведение не стало гарантией покоя на землях Петровско-Раумовского!
Осенью 1869 года Россию потрясло убийство, совершённое в парке Петровской академии. Тогда группа террористов-революционеров «Народная расправа», созданная нигилистом Сергеем Нечаевым, убила одного из своих членов — студента академии Иванова, обвинив его в предательстве: тот отказался слепо и беспрекословно повиноваться лидеру и заявил о выходе из организации. Иванова заманили в парковый грот, долго душили, потом выстрелили в голову и сбросили тело в пруд. И грот, и пруд сохранились. Грот — это старинное парковое сооружение ещё времён Кирилла Разумовского, откуда гости усадьбы могли любоваться панорамой прудов и окрестностей. Грот этот пережил два с половиной столетия и дошёл до нас почти в первозданном виде.
Обнаружить убийц помогла роковая случайность: Нечаев, потерявший там шапку, впотьмах надел шапку убитого (подписанную на подкладке), что стало уликой для полиции.
В память злодейски убитого студента один из местных проездов назвали Ивановским. Сам же Нечаев успел бежать за границу, откуда в 1872 году был выдан Швейцарией как уголовный преступник. На родине его приговорили к пожизненному заключению в Петропавловской крепости. Нечаев просидел там 10 лет, сделал безуспешную попытку бежать и умер от цинги и водянки 21 ноября 1882 года — день в день с убийством Иванова спустя 13 лет. Эти события легли в основу романа Ф. М. Достоевского «Бесы».