Старая дева и по совместительству графиня Елена Федоровна Соллогуб и ее не менее ветхая экономка Дарья Трофимовна, поменявшиеся при новой власти местом жительства, но отнюдь не обязанностями, уживались во дворце прекрасно. Дарья Трофимовна заведовала столовой в подвале — бывшей трапезной со сводами, а летом распоряжалась во дворе, обустроенном под манер итальянского патио с опутавшим все диким виноградом. Бывшая графская экономка, сообщает Серпинская, «в монашеском черном платье, вышколенная и аккуратная, раздавала торжественно порции чечевичного супа с воблой и пшенную кашу». Ее тоже бывшая хозяйка непременно заявлялась на обед с серебряным судком, унося все с собой: «…ходила она обношенная, в рваных перчатках, в стоптанных туфлях на веревочных подметках».
В один прекрасный день старушка не пришла со своим судком. Оказалось, ее ночью забрали в ЧК: в усадьбе нашли те самые несметные богатства, о которых рассказывал Рукавишников, в том числе запасы изъеденного молью шелка и мехов, 60 (!) пар импортных женских шелковых чулок и кучу обуви. Истинные ценности нашли в домовом храме усадьбы — золотые и серебряные изделия. Графиню отправили на исправление в концлагерь под Москвой, но тогда это был почти санаторий по сравнению с позднейшими учреждениями ГУЛАГа. Бабуля там на свежем воздухе поправилась, посвежела, привозила гостинцы экономке (ее отпускали из лагеря домой два раза в неделю).
У «бывших» тоже был свой круг общения, в частности, граф и художник Сергей Шереметев, съехавший из огромного фамильного дома на Воздвиженке, а также купчиха Елизавета Алексеевна Красильщикова, державшая до 1917 года салон в усадьбе на Моховой улице, куда частенько захаживали Шаляпин с Рахманиновым. Ее парадный портрет «под Ермолову» писал в 1906 году Валентин Серов, когда купчиха еще слыла женщиной своенравной, амбициозной и властной, с претензиями на светскость. У графа и купчихи закрутился роман, впоследствии они уехали в Париж, где у Шереметева была квартира-студия.
Но не все художники, как Шереметев, покинули родину, тем более что некоторым и ехать-то было некуда. Вот они-то и остались во дворце, один из них — Николай Вышеславцев, создатель галереи графических портретов фигур Серебряного века — Андрея Белого, Вяч. Иванова, Павла Флоренского, Владислава Ходасевича, Густава Шпета, Марины Цветаевой. По окончании в Москве Студии живописи и рисунка Ильи Машкова с 1908 по 1914 год Вышеславцев жил в Италии и во Франции. Участник Первой мировой войны, он был ранен, контужен, стал заикаться. В 1920 году во дворце прошла его выставка, на которую пришли и герои его полотен. «Надо прежде всего делать свое дело, — повторял художник, — притом возможно лучше для самого себя делать… а сделаешь хорошо для себя — смотришь, и для других получилось неплохо». Владимир Лидин вспоминал, как ловко управлялся Вышеславцев с ластиком, игравшим не меньшую роль, чем карандаш: «Для него это была гамма, которой он неустанно упражнял свои руки: правой рукой он рисовал, а левой стирал ненужное».
Книголюб Вышеславцев был оформлен во дворце библиотекарем и по совместительству раздавал хлеб его членам. Главное было не опаздывать к раздаче — педантичный заика Вышеславцев был строг. Но даже опоздавших женщин он очаровывал: «Молчаливый, замкнутый, рассудочный и культурный, с непроницаемым выражением светлых зеленоватых глаз и подобранного тонкого рта, он не тратил “зря” время на болтовню во время общей еды или “чаев” на очередных вечерах», — пишет Серпинская. Не скрывала чувств и Цветаева, познакомившаяся с ним весной 1920 года: «Это единственный человек, которого я чувствую выше себя, кроме С.». Под буквой С. скрывался муж Сергей Эфрон, воевавший в это время с большевиками. Цветаева посвятила Вышеславцеву 27 стихотворений, а он оформил обложку сборника ее стихов «Версты» в 1922 году. А позировала ему все равно Серпинская, с которой он расплачивался хлебом.