О своей семье и о том, как попала она ко двору, Вырубова в своих мемуарах пишет:
Отец мой, Александр Сергеевич Танеев, занимал видный пост статс-секретаря и главноуправляющего Его Императорского Величества Канцелярией в продолжение 20 лет. Тот самый пост занимали его дед и отец при Александре I, Николае I, Александре II, Александре III.
Дед мой, генерал Толстой, был флигель-адъютантом Императора Александра II, а его прадед был знаменитый фельдмаршал Кутузов. Прадедом матери был граф Кутайсов, друг Императора Павла I.
Несмотря на высокое положение моего отца, наша семейная жизнь была простая и скромная. Кроме службы, весь его жизненный интерес был сосредоточь в семье и любимой музыке, — он занимая видное место среди русских композиторов. Вспоминаю тихие вечера дома: брат, сестра и я, поместившись за круглым столом, готовили уроки, мама работала, отец же, сидя у рояля, занимался композицией.
6 месяцев в году мы проводили в родовом имении «Рождествено» под Москвой. Соседями были родственники — князья Голицыны и Великий Князь Сергей Александрович. С раннего детства мы, дети, обожали Великую Княгиню Елизавету Феодоровну (старшую сестру Государыни Императрицы Александры Феодоровны), которая нас баловала и ласкала, даря платья и игрушки. Часто мы ездили в Ильинское, и они приезжали к нам — на длинных линейках — со свитой, пить чай на балконе и гулять в старинном парке. Однажды, приехав из Москвы, Великая Княгиня пригласила нас к чаю, как вдруг доложили, что приехала Императрица Александра Феодоровна. Великая Княгиня, оставив своих маленьких гостей, побежала навстречу сестре.
Первое мое впечатление об Императрице Александре Феодоровне относится к началу царствования, когда она была в расцвете молодости и красоты: высокая, стройная, с царственной осанкой, золотистыми волосами и огромными, грустными глазами — она выглядела настоящей царицей. К моему отцу Государыня с первого же времени проявила доверие, назначив его вице-председателем Трудовой Помощи, основанной ею в России. В это время зимой мы жили в Петербурге, в Михайловском Дворце, летом же на даче в Петергофе.
Возвращаясь с докладом от юной Государыни, мой отец делился с нами своими впечатлениями. На первом докладе он уронил бумаги со стола, Государыня, быстро нагнувшись, подала их сильно смутившемуся отцу. Необычайная застенчивость Императрицы его поражала. «Но, — говорил он, — ум у неё мужской — une téte d’homme». Прежде же всего она была матерью: держа на руках шестимесячную Великую Княжну Ольгу Николаевну, Государыня обсуждала с моим отцом серьезные вопросы своего нового учреждения; одной рукой качая колыбель с новорожденной Великой Княжной Татьяной Николаевной, она другой подписывала деловые бумаги. Однажды, во время одного из докладов, в соседней комнате раздался необыкновенный свист.
— Какая это птица? — спрашивает отец.
— Это Государь зовет меня, — ответила, сильно покраснев, Государыня и убежала, быстро простившись с отцом.
Впоследствии, как часто я слыхала этот свист, когда Государь звал Императрицу, детей или меня; сколько было в нем обаяния, как и во всем существе Государя.
Обоюдная любовь к музыке и разговоры на эту тему сблизили Государыню с нашей семьей. Я уже упоминала о высоком музыкальном даровании моего отца. Само собой разумеется, что нам с ранних лет дали музыкальное образование. Отец возил нас на все концерты, в оперу, на репетиции и во время исполнения часто заставляя следить по партитуре; весь музыкальный мир бывал у нас, — артисты, капельмейстеры, — русские и иностранцы. Помню, как раз пришел завтракать П. И. Чайковский и зашел к нам в детскую.
Образование мы, девочки, получили домашнее и держали экзамен на учительниц при округе. Иногда через отца мы посылали наши рисунки и работы Императрице, которая хвалила нас, но в то же время говорила отцу, что поражается, что русские барышни не знают ни хозяйства, ни рукоделия, и ничем, кроме офицеров, не интересуются.
Воспитанной в Англии и Германии, Императрице не нравилась пустая атмосфера петербургского света, и она все надеялась привить вкус к труду. С этой целью она основала «Общество Рукоделия», члены которого, дамы и барышни, обязаны были сработать не менее трех вещей в год для бедных. (Идея не привилась.) Не взирая на это, Государыня продолжала открывать до всей России дома трудолюбия для безработных, учредила дома призрения для падших девушек, страстно принимая к сердцу все это дело.