Лет за 15 до смерти С. А. Усов увлекся историей искусства и археологией. Он собрал богатую коллекцию рисунков и фотографий произведений живописи и скульптуры. Приглашенный Л. И. Поливановым, директором известной в Москве гимназии, прочесть курс лекций по истории искусства старшим ученикам, Сергей Алексеевич собрал вокруг себя аудиторию, которая и по окончании гимназии и даже университета все еще продолжала посещать его удивительные беседы. Проводил он их обычно не в классе, а за круглым столом директора гимназии (позже и у себя дома).
Его археологические исследования оценивались высоко.
К С. А. Усову тянулись самые разные люди; это объяснялось разносторонностью его натуры. «В его кабинете можно было встретить художников, ученых, историков, археологов, людей разных возрастов и разных научных направлений», - вспоминает один из современников. Нередко в гостиной ученого устраивались литературные вечера, на которых читались новые, еще не изданные или уже опубликованные произведения. В этих чтениях принимала участие и его жена, артистка Малого театра (в 1860 - 1868 гг.) А. П. Савина.
С. А. Усов был одним из самых близких друзей писателя А. Ф. Писемского. Свои произведения Писемский прочитывал у Усова и каждую написанную им новую главу отдавал на храпение Сергею Алексеевичу. Кроме того, Писемский пользовался и книгами из его библиотеки. А библиотека эта была богата произведениями русских и иностранных классиков, описаниями путешествий, специальными книгами по зоологии, орнитологии, естественной истории, ихтиологии, минералогии, трудами Ч. Дарвина, А. Брема, К. Ф. Рулье, Н. А. Северцова и т. д. Русские летописи и книги по истории составляли значительную часть этого собрания. После смерти С. А. Усова 900 книг из его библиотеки поступило в научную библиотеку Московского университета. Книги по искусству и фотографии были переданы Историческому музею.
В начале октября 1886 года здоровье С. А. Усова, когда-то прекрасного фехтовальщика и довольно крепкого благодаря неустанным физическим упражнениям человека, резко ухудшилось. В воскресенье, 26 октября, сначала утром, а потом вечером зашел навестить больного его друг и соратник профессор-зоолог М. А. Мензбир. «Он сидел в своей любимой позе на кресле под портретом К. Ф. Рулье и фотографиями друзей и семейных, и мы мирно беседовали о Рюисдале и различных заграничных картинных галереях, - вспоминал М. А. Мензбир. - После десяти я простился с Сергеем Алексеевичем, но еще с час оставался у него в доме и был последним из не принадлежащих к его семье лиц, с которыми он виделся во время болезни. А в половине пятого утра Сергей Алексеевич скончался от паралича сердца, не дожив нескольких месяцев до 60 лет». Похоронили его на Ваганьковском кладбище в Москве.
Другим обитателем дома С. М. Голицына был юрист, историк и философ, профессор, а затем почетный член Московского университета, один из лидеров либерально-западнического крыла в русском общественном движении середины прошлого века Б. Н. Чичерин.
Фасад дома М. М. Голицына в XVIII в.
(из архитектурного альбома М. Ф. Казакова)
Правый флигель усадьбы Голицыных. 20-е гг. XX в.
Схема усадьбы Голицыных (план 1802 г.)
1 - главный дом, 2 - правый флигель, 3 - левый флигель, позже полностью перестроенный, 4 - цветник, 5 - парадный двор-курдонер, 6 - сохранившиеся каменные ворота, 7, 8, 9, 10, 11, 12 - каменные и деревянные постройки, частично жилые, двух и одноэтажные (не сохранились, заштрихованы), 13 - каменные ворота (не сохранились), 14, 15 - сад и двор (не сохранились), 16 - хозяйственный двор, А - колодцы
Ворота дома кн. С. М. Голицына.
Архитекторы С. И. Чевакинский и И. П. Жеребцов.
XVIII в. Вид со стороны М. Знаменского пер. (ул. Маркса и Энгельса)
С. М. Голицын.
С портрета В. А. Тропинина (хранится в Музее В. А. Тропинина и московских художников его времени)
Б. Н. Чичерин. С портрета В. А. Серова (хранится в Тамбовской картинной галерее)
И. С. Аксаков
С. А. Усов
Часть иконостаса бывшей домовой церкви С. М. Голицына
Письменный стол А. Н. Островского из его кабинета в доме С. М. Голицына