В 1784 году Я. А. Брюс выкупил у вдовы бывшего губернатора Чернышева здание на улице Тверской, 13 и перестроил его в резиденцию губернатора. С тех пор на этом месте находятся органы управления столицы: до революции — резиденция московских губернаторов, в советский период — Моссовет, а ныне — правительство Москвы. Именно здесь от здания по адресу Тверская, 13 до Большой Никитской проходит Брюсов переулок, названный по фамилии владельцев здешних зданий Александра Романовича и Якова Александровича Брюсов.
В советское время этот переулок стал улицей, названной в честь певицы A.B. Неждановой. С возвращением в Москве исторических названий этой улице вернули ее прежнее наименование. В связи с чем неискушенные в краеведении москвичи спрашивали: «Как можно было заменить великую актрису Нежданову на поэта Валерия Брюсова?» — не зная, что Брюсовым переулок стал еще в XVIII веке.
Как показали исследования, это совпадение двух фамилий неслучайно, поскольку прадед В. Я. Брюсова по материнской линии, будучи крепостным крестьянином на оброке, принадлежал Я. А. Брюсу, жил в Костромской губернии и после Указа 1764 года, позволившего крестьянам заниматься коммерческой деятельностью и предпринимательством, стал возить товары в Москву на продажу. Накопив приличное состояние, он выкупился у Якова Александровича. В его вольной указывалось, что он Брюсов крестьянин. Так, бывший крепостной стал основателем довольно известной в XIX — начале XX века династии московских предпринимателей Брюсовых. И дед, и отец, и старший брат поэта В. Я. Брюсова были представителями этой династии. Сам поэт в мемуарах ошибочно отмечал, что является потомком Я. В. Брюса.