Но в 1578 году в Генте вновь вспыхнули религиозные войны. На этот раз в самом стане кальвинистов нашлись два «ценителя прекрасного» — они отбили алтарь у иконоборцев и спрятали его в подвале Гентской ратуши. Правда, двигало ими отнюдь не преклонение перед шедевром. Дело заключалось в том, что королева Англии предоставила кальвинистам большой заем для борьбы с испанской короной. Нужно было возвращать долг. Вот эта пара практичных кальвинистов и решила расплатиться с Елизаветой с помощью творения Ван Эйка. Но тут вмешались истинные патриоты города, члены семейства Вейдтов — потомки того самого Вейдта, когда-то заказавшего алтарь. Они быстро собрали нужную сумму, и алтарь остался в городе. Шесть лет он хранился в ратуше и вернулся на свое место в соборе в 1584 году. В то время Фландрия вновь принадлежала католической Испании. Победа над еретиками была отпразднована торжественным шествием — возвращением алтаря в собор. Во главе процессии гордо шли наследники Иодукуса Вейдта. Члены семейства Вейдтов-Триестов (боковая ветвь) опекали алтарь до конца XVIII века, особенно много сделал для сохранности творения Ван Эйков гентский епископ Антон Триест.
А охранять алтарь приходилось постоянно. На него покушались, и не раз. Так, в 1781 году в Генте оказался отличавшийся особой религиозностью австрийский император Иосиф II (Фландрия в это время уже входила в империю Габсбургов). Вид обнаженных Адама и Евы глубоко оскорбил благочестивого императора. По его приказу крайние створки с изображениями Адама и Евы сняли и заменили копиями — теперь на Адаме и Еве появились кожаные передники, и прародители стали выглядеть вполне прилично. К счастью, подлинные панели не уничтожили — монахи надежно спрятали их в подвалах собора.
А вскоре пришла новая беда. В 1794 году Наполеон захватил Фландрию — она уже называлась тогда Бельгией. Войска вошли в Гент. Наполеон тут же принял решение — доставить четыре центральные створки «Алтаря Агнца» в Париж, где в Лувре собирались художественные сокровища Европы — все, что только можно было вывезти из покоренных стран. У великого правителя и его главный музей должен быть великим! Почему-то он велел вывезти только центральную часть алтаря. Ходили слухи, что комиссарами Бонапарта руководили масоны, которых особенно волновала чаша Грааля. Так или иначе, первый директор Музея Наполеона Денон очень хотел потом заполучить остальные части алтаря и даже предлагал за них несколько картин Рубенса, однако гентские власти отказались от столь лестного предложения.
«Агнец» недолго пробыл в Лувре — уже в 1815 году, после поражения Наполеона при Ватерлоо, по приказу Людовика XVIII створки вернулись на родину. Новый король Франции очень хотел отблагодарить гентцев, ведь именно они приютили его у себя, когда Наполеон вернулся на 100 дней на трон и изгнал Людовика из страны.
Однако и тут, дома, алтарь ждали новые испытания. В то время собор нуждался в ремонте. Средств, как всегда, не хватало, и практичный викарий Святого Бавона по имени Ле Сюре в отсутствие епископа не нашел иного способа добыть деньги, как продать старые иконы, этот «древний хлам» — все боковые створки, за исключением забытых в подвале Адама и Евы. Конечно, в этой истории тут же увидели политический подтекст — викарий был французом, и продажу алтаря расценили как месть за Наполеона. Но все же скорее всего Ле Сюре был просто этаким кризисным менеджером. Створки купил некий старьевщик по имени Ньювенхойс. Викарий планировал получить за 6 панелей с изображениями на каждой стороне 600 франков, но Ньювенхойс заплатил в десять раз больше за разрешение вывезти панели сразу, немедленно, а затем тут же перепродал панели некоему торговцу лесом по имени Эдвард Соли уже за 100000 франков! Соли, этот удачливый британец, лесоторговец-контрабандист, нажив немалое состояние, одним из первых начал вкладывать деньги в картины мастеров Северного Возрождения и неплохо на них заработал. Став счастливым обладателем створок Гентского алтаря, он, как истинный патриот, сначала предложил их Британскому музею, но, не найдя там понимания, в 1821 году продал их будущему кайзеру Германии принцу Вильгельму Гогенцоллерну. Створки стали украшением коллекции Берлинского музея, а в гентском соборе на их место в алтаре поместили копии. Но и оставшиеся доски могли погибнуть — в 1822 году в Святом Бавоне был страшный пожар, и лишь чудо спасло творение Ван Эйка.