Вспоминая этот тяжелый период, Иванов писал: «Властителем моих дум все полнее и могущественнее становился Ницше. Это ницшеанство помогло мне – жестоко и ответственно, но по совести правильно – решить представший мне в 1895 году выбор между глубокою и нежною привязанностью, в которую обратилось мое влюбленное чувство к жене, и новою, всецело захватившею меня любовью, которой суждено было с тех пор, в течение всей моей жизни, только расти и духовно углубляться…»
1895 год стал эпохальным для союза Лидии Дмитриевны и Иванова. Он сделал выбор и, невзирая на личные перипетии, смог закончить свой научный труд и представить Берлинскому университету диссертацию о государственных откупах в Риме. Профессура университета уговаривала Иванова остаться в Берлине и строить свою карьеру, но он не собирался выстраивать ее за пределами России. Все эти события сопровождались и некоторыми неприятными формальностями: Шварсалон отказал супруге в разводе. Так что в ожидании венчания Лидия и Иванов вынуждены были прятаться сами и прятать детей, которых бывший муж-учитель грозился отобрать. У счастливых влюбленных началась пора скитаний: Италия, Франция, Англия, Швейцария. Телеграмма об успешном бракоразводном процессе пришла к ним лишь через четыре года, в 1899 году, и застала будущих супругов в Аренцано, приморском городке близ Генуи. Свадьба прошла в маленькой греческой церкви Ливорно, куда молодожены приехали одни и где им по греческому обычаю вместо брачных венцов надели на головы обручи из виноградных лоз, обмотанных шерстью ягненка. И Лидия, и Иванов заранее знали об этом ритуале: он их очень привлекал. А Иванов уже тогда предполагал, что не только иудейская, но и эллинская религия является истоком христианства.
После свадьбы по настоянию Иванова все семейство отправилось в Англию, где предполагалось дать образование сыновьям Лидии Дмитриевны. В Лондоне их постигло первое горе: прожив всего 2 дня, умерла их дочка – Еленушка. Позже судьба уготовила им еще одно мучительное испытание. Возвращаясь в 1902 году из Иерусалима, где супруги проводили Пасху у Гроба Господня, Иванов схватил в Афинах тяжелейшую форму тифа и, казалось, был обречен. Он знал, что умирает, и одновременно радовался, что успел отдать в печать сборник «Кормчие звезды». Но ему не суждено было тогда покинуть этот мир: жена уходом и молитвой отняла его у смерти. Выздоравливать он остался в Афинах, а Лидия уехала к детям в окрестности Женевы, где в местечке Шатлен семья снимала виллу и где за детьми и хозяйством смотрела подруга юности Лидии – Мария Замятина. Она была женщиной недюжинных способностей и талантов, ее дед – Замятин – проводил судебную реформу при Александре II. Именно благодаря ей супруги могли беспрепятственно передвигаться по городам и странам. Несмотря на их отлучения, на вилле в Шатлене текла настоящая семейная жизнь, которой управляла Мария Замятина. Старший сын Лидии Дмитриевны Сережа учился в Лондоне и приезжал на каникулы, Вера и Костя – в Швейцарской школе, а маленькая Лидочка, дочка Лидии и Иванова, была под присмотром Марии. Недалеко от снятой виллы Ивановых, в своей собственной, жил отец Лидии Дмитриевны, который был бесконечно рад, что дочь поселилась рядом, а внуки скрашивают его старость.
Весной 1905 года Лидия и Иванов покинули Шатлен – после смерти старика отца их пребывание в Швейцарии стало неоправданным – и вернулись в Россию. Там, в Петербурге, в поисках жилья Лидия облюбовала необычную квартиру с круглой башенной комнатой. Поселившись здесь, Иванов обращает к Лидии несколько стихотворений под общим названием «Сивилла»:
Пришлец на башне притон я обрел
С моею царицей – Сивиллой.
Над городом-мороком, – смутный орел
С орлицею ширококрылой.
В том же 1905 году Лидия и Иванов организовали в этой квартире литературный салон «Башня», которому суждено было просуществовать до 1909 года. В архитектуре самого дома на Таврической улице, 25, действительно была (и есть сейчас) башня, вернее угол дома, отстроенный на манер башни с куполом, вид из окон которой открывал необыкновенную панораму Петербурга, а пребывающие внутри чувствовали себя «высоко над миром»: над улицей, суетой и обыденной жизнью. Название салона одновременно подчеркивало и некую изолированность культурной элитарной жизни собиравшихся здесь гостей – Анны Ахматовой, Николая Гумилева, Михаила Кузмина, Зинаиды Гиппиус, Валерия Брюсова, Александра Блока, Сергея Городецкого. В этом салоне прозвучала практически вся поэзия Серебряного века и зародилась новая школа поэтической декламации. Широта поэтического таланта и энциклопедическая образованность хозяина салона привлекали сюда и писателей, поэтов и философов самых разных школ и направлений. Не случайно в оценках своих современников супружеская чета В. Иванова и Л.Д. Зиновьевой-Аннибал слыла как обладающая уникальным даром притяжения. На «Башне» проходили интереснейшие дискуссии и лекции на мистические, философские, оккультные, религиозные и, конечно, поэтические темы. Свои произведения здесь читали Розанов, Луначарский, Бердяев, Булгаков, Шестов. Традиция собираться по средам практически не прерывалась, и лишь зимой 1907 года на время болезни Лидии Дмитриевны – она лежала в лечебнице с воспалением легких и очень медленно выздоравливала – «среды» были отменены. В это время к Ивановым приходили только самые близкие друзья: Макс и Маргарита Волошины, Кузмин, Городецкий, Петр Струве.
Летом супруги уехали в Загорье Могилевской губернии, после городской зимы им хотелось тишины и покоя. Они катались на лодке, собирали в лесу грибы и ягоды. Сюда же на каникулы приехали и дети с Марией Михайловной. Все вместе проводили удивительные дни, безмятежные и счастливые. Когда же лето подошло к концу и стало сыро и прохладно, в окрестных деревнях вспыхнула скарлатина, но Лидия все никак не хотела покинуть Загорье. Она ездила по деревням и помогала матерям ухаживать за больными детьми, не подозревая о том, что сама в детстве этой болезнью не переболела. Лидия заразилась и стала угасать с каждым днем. Иванов был все время рядом, он понимал, что она уходит. 17 октября Лидии не стало…
«Боль смертная той смерти все жива», – напишет Иванов другу спустя много лет после смерти жены. Ошеломляющим был рассказ Иванова о ее последних минутах, который сохранился в пересказе М. Волошина: она умерла в его объятиях. Ее непредвиденный и скоропостижный уход потряс всех. И вдруг вспомнили, что она была не только ярчайшей женщиной и хозяйкой модного литературного салона, но и незаурядной писательницей. И вслед за Блоком многие тогда повторили: «Того, что она могла дать русской литературе, мы и вообразить не можем». Эти слова были сказаны поэтом по поводу сборника ее рассказов «Трагический зверинец» – наиболее цельной и совершенной книги Зиновьевой-Аннибал.
Вскоре после смерти Лидии Иванов написал 42 сонета (столько лет было Лидии, когда она умерла) и 12 канцон (столько лет они прожили вместе). Они составили раздел «Любовь и смерть» в его книге «Сог агdens» («Пламенеющее сердце»). Сборник открывался стихотворением «Менада», в котором он запечатлел дионисийскую природу жены, а в сонетах варьировалось нерушимое единение двоих («Мы – два грозой зажженные ствола», «Мы два в ночи летящих метеора», «Мы двух теней скорбящая чета», «Мы две руки единого креста»). Но во всех стихотворениях он в символических образах отразил ту «могучую весеннюю дионисийскую грозу», после которой все в его жизни «обновилось, расцвело, зазеленело».
И Лидия Дмитриевна осталась для него навсегда живой. Во всех его скитаниях рядом с ним был ее портрет, написанный после ее смерти Маргаритой Сабашниковой. Еще многие годы она являлась ему в снах и видениях, беседовала с ним, давала советы. А в одно из таких «посещений завещала» ему свою дочь, Веру Шварсалон, сказав: «Дар мой тебе дочь моя, в ней приду». Это определило выбор Иванова: он женился на ее дочери Вере, и у них родился сын Дмитрий, бывший одновременно сыном Вячеслава и внуком Лидии Дмитриевны.