Украшали коллекцию китайские шахматы - доска из черного дерева, инкрустированная гравированным серебром, слоновой костью и перламутром, с фигурами, вырезанными также из слоновой кости, которые изображали людей разных стран и сословий конца XVI века, и две парные вазы из резной слоновой кости и бронзы с вензелями казненной французской королевы Марии-Антуанетты, оценивавшиеся в 100 тысяч франков каждая.
Были здесь и два тканых ковра середины XVIII века знаменитой фабрики Гобеленов, основанной в 1662 году в Париже, и два женских бюста работы Гудона - того же времени; статуя Меркурия, выполненная Лауницем; скульптуры Бьенеме; инкрустированная мебель времен Людовика XV; того же времени часы в виде вазы, отделанные старым севрским фарфором и украшенные тремя бронзовыми грациями (копия с работы Фальконе), и серебряные позолоченные часы, во время боя которых начинали действовать расположенные с обеих сторон фонтаны.
Стол венецианской работы, отделанный слоновой костью и перламутром, начала XVII века; фаянсовый кувшин (один из 33 сохранившихся в Европе изделий из этого фаянса) времен французского короля Генриха II, разные сосуды старинного венецианского хрусталя, фаянсовая посуда с гербом фамилии Медичи, изготовленная в Италии в XVI веке, кое-что из старинного русского серебра и многое-многое другое было выставлено для обозрения.
Среди всего этого богатства выделялась бронзовая статуэтка Вакха, увенчанного виноградными гроздьями, с чашей в левой руке и кистью винограда в правой. Долгое время ее считали античной и приравнивали по стоимости ко всему остальному собранию, но признали в конце концов произведением позднего Возрождения и тем не менее одним из лучших экспонатов музея.
«У князя были благородные вкусы, - писал о М. А. Голицыне в своих воспоминаниях В. А. Муханов, - он любил картины, статуи, старинную мебель, но особенною страстью была у него любовь к книгам. Когда библиоман наш приобретал какую-нибудь маленькую книжку, с виду незначительную, но в его глазах ценную, он становился вполне счастлив и даже плакал от радости. Книжку эту (последнее приобретение) клал он себе в- карман, от времени до времени вынимая оттуда, рассматривал с какою-то нежностью и вскоре прятал от тех, кто не в состоянии был оценить это сокровище».
Собранная с любовью и тщанием библиотека (большая часть ее была приобретена князем за границей, некоторые книги куплены на аукционах когда-то богатейших коллекций библиофилов пушкинской поры А. С. Власова, М. П. Голицына, А. Г. Головкина; почти все книжное собрание дальнего родственника со стороны Строгановых - А. М. Дмитриева-Мамонова досталось по наследству) составила третий отдел Голицынского музея. Она насчитывала около 20 тысяч томов и описана почти во всех справочных библиографических изданиях. В четвертом номере «Современной летописи» (воскресные приложения к «Московским ведомостям») за 1865 год хранитель музея и библиотеки К. М. Гюнцбург писал: «Библиотека князя Голицына вполне заслуживает название классической. В ней имеется превосходное собрание сочинений по богословию, юриспруденции, положительным наукам и изящным искусствам, истории, географии и преимущественно же сочинения классической литературы Греции, Рима и Франции, а также лучших классиков Англии и Италии в отличных и редких изданиях… Но что делает эту библиотеку одним из украшений Москвы - это драгоценное собрание типографических редкостей».
В 1866 году К. М. Гюнцбург издал на французском языке каталог книжного собрания М. А. Голицына; в предисловии он выразил глубокую благодарность «нашему ученому библиофилу» Сергею Соболевскому, советы которого очень помогли Гюнцбургу при составлении этого каталога. Он был издан тиражом 234 экземпляра и разослан в качестве дара во все крупнейшие библиотеки Франции, Англии, Германии, Италии, как публичные, так и частные. В Государственной библиотеке имени В. И. Ленина хранятся три экземпляра этого каталога, причем два - в Музее книги Отдела редких книг и на одном из них наклеен экслибрис С. А. Соболевского.
Помимо каталога К. М. Гюнцбург ежегодно с 1865 по 1869 год издавал указатели музейного собрания (последний - воспроизведение указателя 1869 г. - вышел в 1882 г.) с подробными комментариями и сведениями о новых поступлениях, о числе посетителей, которое год от года росло. Уже за первый год работы музея его посетило около 3,5 тыс. человек.