Вспоминая этот тяжелый период, Иванов писал: «Властителем моих дум все полнее и могущественнее становился Ницше. Это ницшеанство помогло мне – жестоко и ответственно, но по совести правильно – решить представший мне в 1895 году выбор между глубокою и нежною привязанностью, в которую обратилось мое влюбленное чувство к жене, и новою, всецело захватившею меня любовью, которой суждено было с тех пор, в течение всей моей жизни, только расти и духовно углубляться…»
1895 год стал эпохальным для союза Лидии Дмитриевны и Иванова. Он сделал выбор и, невзирая на личные перипетии, смог закончить свой научный труд и представить Берлинскому университету диссертацию о государственных откупах в Риме. Профессура университета уговаривала Иванова остаться в Берлине и строить свою карьеру, но он не собирался выстраивать ее за пределами России. Все эти события сопровождались и некоторыми неприятными формальностями: Шварсалон отказал супруге в разводе. Так что в ожидании венчания Лидия и Иванов вынуждены были прятаться сами и прятать детей, которых бывший муж-учитель грозился отобрать. У счастливых влюбленных началась пора скитаний: Италия, Франция, Англия, Швейцария. Телеграмма об успешном бракоразводном процессе пришла к ним лишь через четыре года, в 1899 году, и застала будущих супругов в Аренцано, приморском городке близ Генуи. Свадьба прошла в маленькой греческой церкви Ливорно, куда молодожены приехали одни и где им по греческому обычаю вместо брачных венцов надели на головы обручи из виноградных лоз, обмотанных шерстью ягненка. И Лидия, и Иванов заранее знали об этом ритуале: он их очень привлекал. А Иванов уже тогда предполагал, что не только иудейская, но и эллинская религия является истоком христианства.
После свадьбы по настоянию Иванова все семейство отправилось в Англию, где предполагалось дать образование сыновьям Лидии Дмитриевны. В Лондоне их постигло первое горе: прожив всего 2 дня, умерла их дочка – Еленушка. Позже судьба уготовила им еще одно мучительное испытание. Возвращаясь в 1902 году из Иерусалима, где супруги проводили Пасху у Гроба Господня, Иванов схватил в Афинах тяжелейшую форму тифа и, казалось, был обречен. Он знал, что умирает, и одновременно радовался, что успел отдать в печать сборник «Кормчие звезды». Но ему не суждено было тогда покинуть этот мир: жена уходом и молитвой отняла его у смерти. Выздоравливать он остался в Афинах, а Лидия уехала к детям в окрестности Женевы, где в местечке Шатлен семья снимала виллу и где за детьми и хозяйством смотрела подруга юности Лидии – Мария Замятина. Она была женщиной недюжинных способностей и талантов, ее дед – Замятин – проводил судебную реформу при Александре II. Именно благодаря ей супруги могли беспрепятственно передвигаться по городам и странам. Несмотря на их отлучения, на вилле в Шатлене текла настоящая семейная жизнь, которой управляла Мария Замятина. Старший сын Лидии Дмитриевны Сережа учился в Лондоне и приезжал на каникулы, Вера и Костя – в Швейцарской школе, а маленькая Лидочка, дочка Лидии и Иванова, была под присмотром Марии. Недалеко от снятой виллы Ивановых, в своей собственной, жил отец Лидии Дмитриевны, который был бесконечно рад, что дочь поселилась рядом, а внуки скрашивают его старость.
Весной 1905 года Лидия и Иванов покинули Шатлен – после смерти старика отца их пребывание в Швейцарии стало неоправданным – и вернулись в Россию. Там, в Петербурге, в поисках жилья Лидия облюбовала необычную квартиру с круглой башенной комнатой. Поселившись здесь, Иванов обращает к Лидии несколько стихотворений под общим названием «Сивилла»: