Пришлец на башне притон я обрел
С моею царицей – Сивиллой.
Над городом-мороком, – смутный орел
С орлицею ширококрылой.
В том же 1905 году Лидия и Иванов организовали в этой квартире литературный салон «Башня», которому суждено было просуществовать до 1909 года. В архитектуре самого дома на Таврической улице, 25, действительно была (и есть сейчас) башня, вернее угол дома, отстроенный на манер башни с куполом, вид из окон которой открывал необыкновенную панораму Петербурга, а пребывающие внутри чувствовали себя «высоко над миром»: над улицей, суетой и обыденной жизнью. Название салона одновременно подчеркивало и некую изолированность культурной элитарной жизни собиравшихся здесь гостей – Анны Ахматовой, Николая Гумилева, Михаила Кузмина, Зинаиды Гиппиус, Валерия Брюсова, Александра Блока, Сергея Городецкого. В этом салоне прозвучала практически вся поэзия Серебряного века и зародилась новая школа поэтической декламации. Широта поэтического таланта и энциклопедическая образованность хозяина салона привлекали сюда и писателей, поэтов и философов самых разных школ и направлений. Не случайно в оценках своих современников супружеская чета В. Иванова и Л.Д. Зиновьевой-Аннибал слыла как обладающая уникальным даром притяжения. На «Башне» проходили интереснейшие дискуссии и лекции на мистические, философские, оккультные, религиозные и, конечно, поэтические темы. Свои произведения здесь читали Розанов, Луначарский, Бердяев, Булгаков, Шестов. Традиция собираться по средам практически не прерывалась, и лишь зимой 1907 года на время болезни Лидии Дмитриевны – она лежала в лечебнице с воспалением легких и очень медленно выздоравливала – «среды» были отменены. В это время к Ивановым приходили только самые близкие друзья: Макс и Маргарита Волошины, Кузмин, Городецкий, Петр Струве.
Летом супруги уехали в Загорье Могилевской губернии, после городской зимы им хотелось тишины и покоя. Они катались на лодке, собирали в лесу грибы и ягоды. Сюда же на каникулы приехали и дети с Марией Михайловной. Все вместе проводили удивительные дни, безмятежные и счастливые. Когда же лето подошло к концу и стало сыро и прохладно, в окрестных деревнях вспыхнула скарлатина, но Лидия все никак не хотела покинуть Загорье. Она ездила по деревням и помогала матерям ухаживать за больными детьми, не подозревая о том, что сама в детстве этой болезнью не переболела. Лидия заразилась и стала угасать с каждым днем. Иванов был все время рядом, он понимал, что она уходит. 17 октября Лидии не стало…
«Боль смертная той смерти все жива», – напишет Иванов другу спустя много лет после смерти жены. Ошеломляющим был рассказ Иванова о ее последних минутах, который сохранился в пересказе М. Волошина: она умерла в его объятиях. Ее непредвиденный и скоропостижный уход потряс всех. И вдруг вспомнили, что она была не только ярчайшей женщиной и хозяйкой модного литературного салона, но и незаурядной писательницей. И вслед за Блоком многие тогда повторили: «Того, что она могла дать русской литературе, мы и вообразить не можем». Эти слова были сказаны поэтом по поводу сборника ее рассказов «Трагический зверинец» – наиболее цельной и совершенной книги Зиновьевой-Аннибал.
Вскоре после смерти Лидии Иванов написал 42 сонета (столько лет было Лидии, когда она умерла) и 12 канцон (столько лет они прожили вместе). Они составили раздел «Любовь и смерть» в его книге «Сог агdens» («Пламенеющее сердце»). Сборник открывался стихотворением «Менада», в котором он запечатлел дионисийскую природу жены, а в сонетах варьировалось нерушимое единение двоих («Мы – два грозой зажженные ствола», «Мы два в ночи летящих метеора», «Мы двух теней скорбящая чета», «Мы две руки единого креста»). Но во всех стихотворениях он в символических образах отразил ту «могучую весеннюю дионисийскую грозу», после которой все в его жизни «обновилось, расцвело, зазеленело».
И Лидия Дмитриевна осталась для него навсегда живой. Во всех его скитаниях рядом с ним был ее портрет, написанный после ее смерти Маргаритой Сабашниковой. Еще многие годы она являлась ему в снах и видениях, беседовала с ним, давала советы. А в одно из таких «посещений завещала» ему свою дочь, Веру Шварсалон, сказав: «Дар мой тебе дочь моя, в ней приду». Это определило выбор Иванова: он женился на ее дочери Вере, и у них родился сын Дмитрий, бывший одновременно сыном Вячеслава и внуком Лидии Дмитриевны.