Понять и запомнить родословное дерево Шереметевых довольно трудно, потому что две сестры Бориса Сергеевича внесли путаницу, выйдя за Шереметевых же: Анна Сергеевна — за графа Дмитрия Николаевича, а Екатерина Сергеевна — за Алексея Васильевича. Сыновья Екатерины Сергеевны: Василий, Владимир, так называемый «конвойный», и Сергей (старше Владимира) — наместник на Кавказе.
Особенно интересны две женские судьбы, причастные к этой семье: судьба дочери фельдмаршала Бориса Петровича Шереметева, графини Натальи Борисовны, жены князя Ивана Алексеевича Долгорукова, доблестно поехавшей за мужем в ссылку в эпоху гораздо более жестокую, чем времена декабристов, и кончившей жизнь схимонахиней Нектарией, и судьба крепостной актрисы Шереметевского театра Прасковьи Ивановны Жемчуговой, ставшей в 1801 году женою графа Николая Петровича Шереметева. Последний случай нашел несколько видоизмененное отражение в русской народной песне «Вечер поздно из лесочка» (крепостная девушка встречает барина, проезжающего в коляске — «две собачки впереди, два лакея позади». Барин ее останавливает, спрашивает, какого она села, и, в конце концов, женится на ней).
Линия Шереметевых, к которой принадлежал дядя Коля, была когда-то богата. Прадед его владел 35 тысячами десятин земли при селе Волочанове Волоколамского уезда, но состояние быстро таяло в руках расточительных владельцев. После блестящей и бурно проведенной молодости Борис Сергеевич вынужден был жениться по расчету на дочери богатого московского помещика Николая Павловича Шипова. Невеста оказалась сильно некрасива, и брак этот, несомненно, не мог считаться счастливым. Однако Ольга Николаевна, будучи очень религиозной и обладая покладистым, неунывающим характером, стойко переносила все невзгоды и с детской наивностью утешалась теми небольшими радостями, которые судьба посылала на ее долю. Старший сын Шереметевых, названный по традиции в честь деда с отцовской стороны Сергеем, умер маленьким. Второй сын, названный в честь дедушки Шипова Николаем, и был моим отчимом. За ним следовали братья Борис и Василий и сестра Дарья. Лучшие воспоминания детей Шереметевых были связаны с поместьем Волочановым, где семья проводила большую часть года до тех пор, пока именье в 80-х годах не было продано на покрытие карточных долгов. (Борис Сергеевич все вечера проводил в Английском клубе за игрой.)
Мальчики учились в Катковском лицее, но в учении не очень преуспевали. Лет с четырнадцати Николай так пристрастился к охоте и к театру, что эти склонности красной нитью прошли через всю его жизнь. В своих вкусах он был крайне демократичен и прост, так же как и в обхождении с людьми. Он ненавидел всякую неестественность, напыщенность, светскость. Друзьями его юности были Саша Обухов (Александр Трофимович), сын помощника отца по управлению Шереметевской больницей, и Саша Федотов (Александр Александрович), сын знаменитой артистки Гликерии Николаевны Федотовой.
Постоянные спектакли, в которых он участвовал, отвлекали его от учения, однако он сознавал, что без службы ему не обойтись, а для того чтобы служить, надо иметь законченное образование. Эти соображения заставили Николая Борисовича покинуть Москву и поступить в Демидовский лицей в Ярославле, где сдать выпускные экзамены было легче, чем при Московском университете. Бывая в то время в Москве наездами, он вступил в созданное Станиславским «Общество искусства и литературы», играл в нескольких постановках и сошелся с третьим другом юности — Владимиром Михайловичем Лопатиным.
Внешность Николая Борисовича была очень сценична: прекрасные голубые глаза, высокий лоб, волнистые, откинутые назад волосы. Несколько неправильный нос, унаследованный от матери, не портил в ту пору его красивого лица. Присущая всем Шереметевым музыкальность сказалась и в нем. Он прекрасно пел цыганские романсы, аккомпанируя себе на гитаре.
Таким был Николай Борисович, когда в 1895 году приехал в Петербург и поступил на службу в Главное управление Уделов. Когда через три года он объявил о своем намерении жениться на разводившейся женщине, имеющей двоих детей, это известие разразилось как удар грома. Полагаю, что между родителями и сыном произошел не один тяжелый разговор с цитатами из Священного Писания, увещеваниями и угрозами. Однако Николай Борисович был непреклонен и впоследствии никогда не вспоминал о том, чего ему стоили эти дни.
В конце концов победа его оказалась полной: осенью 1898 года мама получила приглашение от родителей Шереметевых поселиться у них, пока не закончится развод. Ее появление у Сухаревой башни растопило лед. Она сумела очаровать всех, вплоть до прислуги. Экономка Груша, жившая в доме сорок лет, сказала: «Ах, Александра Гастоновна — настоящий бюст!», видимо, желая сравнить маму с мраморной статуей.