Расторговавшись, Кузьма Брюсов в 1877 году купил — «кажется, не без некоторой коммерческой хитрости» — каменный дом на Цветном бульваре (дом 22 по современной нумерации). «Местность эта была тогда еще довольно пустынная, — вспоминал внук. — На бульваре были постоянные балаганы, вторая половина бульвара только что разбивалась. Самотечный пруд еще не был даже огорожен. Но местность застраивалась и заселялась быстро». Рассказов о доме сохранилось много, причем они, как водится, не просто различаются, но порой противоречат друг другу. Собрав их, А. Л. Соболев затем изучил кадастровый план и дал четкое описание, которым мы и ограничимся:
«Земля, на которой был построен дом, имела официальный адрес: „Сретенской части участок за № 24 по проезду Цветного бульвара“. […] Он имел площадь в 1260 квадратных саженей — в нынешней терминологии около 57 соток. Форма его была клиновидной; в широкой части, выходящей на Цветной бульвар, располагался главный дом; в сужающемся фрагменте — сараи и служебные помещения, всего четыре строения. Дом был одноподъездным; двухэтажным со стороны бульвара и трехэтажным со двора. На фасаде — восемь окон по первому этажу, восемь — по второму; посередине, над входной дверью, был балкон с ажурной решеткой, поддерживаемый двумя колоннами»{3}.
Опасаясь мотовства сына, Кузьма Андреевич завещал дом внукам Валерию и Александру с условием не продавать его до достижения старшим из них, Валерием, тридцатипятилетнего возраста, то есть до декабря 1908 года. С начала 1900-х годов дом был преобразован в доходный с восемью квартирами, из которых сдавались шесть. Управляла домом Иоанна Матвеевна Брюсова, жена Валерия Яковлевича. Они занимали одну из оставшихся квартир; в другой жили родители с дочерьми, до выхода двух из них замуж. Наконец, 22 июня 1910 года внуки продали дом за 65 тысяч рублей Александру Робертовичу Герценбергу, владевшему соседним зданием, и разъехались. Валерий Яковлевич и Иоанна Матвеевна сняли у купца Ивана Баева квартиру в первом этаже дома 32 по Первой Мещанской улице (ныне проспект Мира, 30) — где прожили до смерти; сейчас там Музей Серебряного века.
Старый дом не уцелел, хотя «в статусе жилого […] почти без ущерба пережил труднейшие годы истории отечества. В 1978 году неравнодушный свидетель (журналист О. Точеный. — В. М.) писал: „Дом Брюсовых на Цветном бульваре неплохо сохранился до наших дней, он выглядит сейчас почти так же, как и столетие назад. Можно только сожалеть, что исчез ажурный металлический балкон, находившийся на уровне второго этажа дома, над парадным входом. Думается, что пришла пора восстановить его, благо, что сохранились старинные фотографии здания“. Последние же десятилетия оказались для него фатальными: в конце 1990-х годов дом был снесен и заменен своим не слишком похожим подобием. Балкончик, впрочем, вернули»{4}.
У Кузьмы Андреевича и Марфы Никоновны было трое детей — сын Яков и дочери Дарья и Елизавета. В 1855 году, когда Якову исполнилось семь лет, «тятенька» отдал его «в частный пансион, платя за обучение по 2 рубля в месяц. Там мальчик оставался в течение полутора лет, после чего его знания мой дед, — вспоминал Александр Брюсов, — счел достаточными для ведения торговых книг, и с 9 лет мальчик стал бесплатным конторщиком в деле Кузьмы Андреевича»{5}, помогая грамотному дяде Петру Андреевичу. С десяти лет Яков пытался вести дневник, но записывать было нечего, разве что «Рубили капусту в дожжик» (запись повторялась в октябре, из года в год) или «1858 года в августе начала ходить на небе комета звезда с хвостом и кончилась в 1 числах октября».