Многое в саду было уничтожено при сооружении набережной. Тогда, вероятно, снесли все три галереи у Невы и второй каменный дворец (дворец Анны Ивановны разобрали еще раньше). В 1771 году последовал указ Екатерины II о „сломке и впредь не делании" трельяжных беседок и крытых аллей. Но самый страшный, непоправимый вред причинило саду наводнение, случившееся 10 сентября 1777 года.
В ту ночь сильные порывы юго-западного ветра сотрясали окна и двери домов, срывали с крыш черепицу и железо, с грохотом гнали его по пустынным улицам. Между четырьмя и пятью часами утра Нева ринулась на город. Вода полилась через края набережных рек и каналов, хлынула из подземных труб. Лодки и большие барки носились вдоль улиц. На не достроенной еще Дворцовой набережной громоздились трехмачтовые корабли. Летний сад превратился в бурлящее озеро, по которому плавали вырванные с корнем деревья, доски и различный домашний скарб, невесть откуда занесенный сюда волнами.
Наводнение довершило то, что было начато разрушительной деятельностью людей и времени. После 1777 года из сада исчезли фонтаны и все убранство вокруг центральной площадки. Тогда же не стало поперечного канала и Лабиринта Эзоповых фонтанов; погибло много старых деревьев. Но, запущенный и лишенный большинства своих украшений, Летний сад постепенно приобретал новое очарование. Отделенный от набережной изумительной по красоте решеткой, он привлекал сочной зеленью газонов, задумчивой тишиной тенистых аллей.
„Придите в сад сей в майскую или июньскую ночь, когда царствует беспрестанный свет, придите сюда и сядьте под сим столетним дубом на берегу Фонтанки, тогда как вы дышите легчайшим, чистейшим воздухом, и ничто не нарушает беседы вашей с воображением…" - писал в начале прошлого века журналист П. Свиньин.
Теперь это уже не был закрытый дворцовый сад, но гуляли в нем все же в основном те, кто принадлежал к петербургскому „высшему обществу". „До 10 часов утра, - рассказывает тот же автор, - встречаются здесь одни немощные, прогуливающиеся по предписанию врачей. От 10 до 12 бархатные лужки покрываются группами детей, прекрасных, как Рубенсовы и Рафаэлевы ангелы, резвящихся под надзором миловидных нянюшек и кормилиц! В два часа пополудни сцена переменяется - и большая аллея представляет прелести и великолепие под другим видом. Это час предобеденного гуляния петербургских красавиц".
Что-то очень знакомое есть в этих жанровых сценках, запечатленных одним из современников Пушкина. Как нечто много раз виденное и пережитое, они возникают в памяти одновременно с лирической и светлой, тревожной и страстной музыкой „Пиковой дамы".
Но Летний сад вызывал музыкальные ассоциации и у людей, живших на берегах Невы задолго до Чайковского. С 70-х годов XVIII столетия он славился оркестром роговой музыки придворных егерей, игравших на усовершенствованных русских охотничьих рогах. Каждый такой медный рог, длиной от девяти с половиной сантиметров до двух с четвертью метров, издавал только одну ноту. Звуки их походили на звуки гобоя, фагота или кларнета. В целом же звучание оркестра напоминало орган и, как утверждают современники, производило сильное впечатление. Крепостные музыканты были одеты в зеленые камзолы, отделанные золотым позументом, и шапочки с изображением золотого сокола. (Позднее их одевали в красные камзолы и черные шляпы с плюмажами из белых перьев).
Ежегодно летом в саду устраивали смотрины купеческих невест, собиравшие толпы любопытных. Зрелище это, вероятно, было действительно занятным. По обеим сторонам аллей выстраивались шеренгами купчихи с дочерьми, а мимо них прохаживались молодые купчики, выбирая себе невест. Так как женихов, в большинстве случаев, прежде всего интересовала не привлекательность девушек, а состояние их родителей, каждая мамаша старалась „показать товар лицом" - в пух и в прах разодеть свое чадо и навесить на него побольше драгоценностей.
С того времени, когда Летний сад снова вошел в моду среди петербургской знати, за ним вновь начали следить и ухаживать. Но 7 ноября 1824 года Нева опять совершила на него опустошительный набег. До сих пор на фасаде Летнего дворца, на высоте, почти доходящей до середины окна первого этажа, сохранилась бронзовая доска, отмечающая уровень воды в саду во время этого, самого страшного за все годы существования города, наводнения.