В 1837 году Бенкендорф обратил своё имение в майорат — неделимую собственность, переходящую из поколения в поколение к старшему из наследников. Поэтому после смерти Александра Христофоровича имение стало владением его средней дочери, Марии Александровны, вышедшей замуж за князя Григория Волконского. (Старшая Дочь Бенкендорфов Анна была замужем за представителем известного венгерского рода графом Аппоньи и по законам Российской империи лишилась права наследовать имущество отца.) Фалль стал наследственным имением Волконских.
В гости к Марии и Григорию приезжал в Фалль возвратившийся из ссылки Сергей Григорьевич Волконский — и не только в качестве нового родственника-свата. Именно тогда написал он сыну Михаилу, что нашёл себе «ещё другое утешение — поклониться могиле Александра Христофоровича Бенкендорфа», отдать долг памяти не только товарищу по службе, но и другу, «не изменившемуся в чувствах» даже в тяжёлые месяцы следствия и суда над участниками заговора77.Невозможно заподозрить декабриста в лицемерии — на дворе был самый, пожалуй, «оттепельный» 1860 год, канун освобождения крестьянства, и николаевскую эпоху принято было ругать.
Потом князь ещё вернулся в Фалль летом 1863 года, и его увлекательные истории за вечерним чаем собирали большую аудиторию потомков Бенкендорфов и Волконских. «Можно себе представить, — писал С. М. Волконский, — при хорошей памяти, при любви к рассказу, при добром общительном настроении, как он мог быть интересен… Он увлекался и каждый вечер уходил всё дальше назад. Однажды он начал обычным своим вступлением: „Это было…“ Все притаились, когда же? И вдруг он сухо и чётко выпаливает: „В первом году“. По-русски это звучит не так чётко и сухо, но по-французски — „L’annee… ми/“ — вызвало общий смех веселья своею краткостью и неожиданностью, а также определённостью сопутствующего движения указательного пальца».
Сын декабриста Михаил и внучка Бенкендорфа Елизавета Григорьевна стали новыми владельцами Фалля. За ними, уже в XX веке, «замок» и парк унаследовал Пётр Михайлович, а потом Григорий Петрович Волконский.
В Гражданскую войну над барской усадьбой вдоволь потешились бойцы Красной армии. Мраморную скульптуру Венеры работы Антонио Кановы использовали для упражнений в стрельбе. Дом в прямом смысле слова обчистили так, что уже в 1921 году Сергей Волконский со вздохом вспоминал: «Остались одни голые стены». Эти стены со всеми окрестностями «приобрела» у прежних хозяев молодая Эстонская республика за скромную сумму в 9177 крон. Усадьба была передана Министерству иностранных дел, часть окрестных земель раздали местным жителям, другую обнесли каменным забором и застроили правительственными дачами (в советское время на этой территории парка располагалась «эстонская Барвиха» — дачи республиканской партийной элиты). Волконским «в компенсацию» был выделен небольшой участок. В 1940 году умер последний владелец Фалля, Григорий Петрович, праправнук А. X. Бенкендорфа; остальные Волконские эмигрировали.
В годы немецкой оккупации на мызе Кейла-Йоа работала одна из диверсионных школ адмирала Канариса. После войны в усадьбе, вошедшей в закрытую погранзону, расположились воинские части противовоздушной обороны: сначала авиаполк, чей штаб разместился в главном усадебном доме, а потом ракетчики, при которых творение Штакеншнейдера стало клубом, кинотеатром и военторгом одновременно. На водопаде снимали сцены фильмов «Чёрная стрела», «Тайна чёрных дроздов», «Визит дамы», «Государственная граница»78.
Казалось, что с обретением Эстонией независимости уникальная усадьба станет выдающимся культурным центром европейского значения. «Философ, изобретатель и романтик» Вольдемар Отльцевель даже выиграл республиканский конкурс «Эстонские усадьбы», предложив проект воссоздания дворцово-паркового ансамбля «Кейла-Йоа»79. В 1994 году пресса описывала «светлое будущее» центра отдыха жителей Эстонии и, что немаловажно, иностранных туристов: «В отреставрированном замке Фалль-Шлосс — музей дворянского быта XIX века; в восстановленном во всей его красе парке — чугунные скамейки, павильоны, каменные лестницы, скульптуры, оранжереи, гроты, пруды… Запланировано было строительство гостиницы, кафе „Фалль“, „Фаллькаубахалль“ и многого другого. И всё это… осенено славной древней фамилией князей Волконских, ведущих свою родословную от самого Рюрика…»
Увы, в том же 1994 году усадьба Кейла-Йоа уже не значилась среди охраняемых законом памятников старины как не имеющая для Эстонии ни исторической, ни археологической ценности.