«Небольшого роста, худенький и миловидный человечек, он, в противоположность супруге своей, был очень общительного характера, — вспоминает современник, — и очень учтив в обращении. Волосы у него были очень редки, он стриг их коротко и каким-то особенным манером, что очень к нему шло; был большой охотник до перстней и носил прекрупные бриллианты». Лишившись возможности поклоняться петербургским львицам, Иван Александрович тотчас находит себе московских кумиров и прежде всего Зинаиду Волконскую, которую восторженно называет «нашей Коринной». Уже в очень преклонном возрасте его продолжают видеть на каждом гулянии в Сокольниках и Петровском парке — на «куцом коне, с розою в петлице фрака, ухаживающим за дамами».
Но был Иван Александрович известен не только как дамский угодник. Он не менее восторженный театрал, хорошо разбиравшийся и в драматическом и особенно в музыкальном искусстве. Смолоду неплохо играл на скрипке, участвовал в любительских концертах — квартетах, хотя злые языки не уставали твердить, что из пропущенных Нарышкиным нот можно было бы составить целую симфонию.
«Вчера я был на чтении у Декампа, — пишет в апреле 1829 г. Василий Львович Пушкин П.А. Вяземскому, имея в виду пользовавшегося в свете немалой популярностью лектора Московского университета. — Слушателей было гораздо меньше прошлых дней. Может быть, оттого, что вчера многие поехали в концерт к Ивану Александровичу Нарышкину». В доме на Пречистенке хозяин продолжал традиции своих петербургских музыкальных вечеров. В службе Нарышкин не преуспел. Сын камер-юнкера, ставшего затем камергером двора Петра III, он так или иначе расплачивается за то, что отец сохранил верность незадачливому императору и был с ним рядом при неудавшейся попытке бежать из Ораниенбаума в Кронштадт. Екатерина II подобных просчетов не прощала. Положение Нарышкина-младшего при дворе улучшила его женитьба на графине Екатерине Александровне Строгановой, мать которой была дружна с императрицей и совершила вслед за ней настоящий подвиг в глазах современников, разрешив привить себе оспу. Не говоря о богатейшем приданом, Екатерину Александровну отличала редкая красота, но и «строгие правила».
Высокая, полная, голубоглазая, с открытым лицом и смелым взглядом, она не любила ни светской суеты, ни злословия, сама следила за материальным благополучием семьи, крепко держала в руках детей. Ее старшую дочь Елизавету Ивановну в Москве по этому случаю сочувственно прозвали Бедной Лизой. Елизавета Ивановна была в дружеских отношениях с Пушкиным и стала участницей известного масленичного катания 1 марта 1831 г. в Москве, где поэт появился со своей молодой женой.
Екатерине Александровне помогали дружеские отношения с Марией Антоновной Нарышкиной, фавориткой Александра I, и самим Александром I, охотно навещавшим петербургский дом Нарышкиных — супруги жили на Разъезжей, у Пяти Углов. Связи с Петербургом Екатерина Александровна не потеряла и во время московской ссылки. Одна из немногих, она могла ввести любого в самый высокий аристократический дом. Вот только устроить удачных партий для собственных детей не сумела.
Старший сын Нарышкиных Александр Иванович погиб на дуэли в 1809 г. По свидетельству М.И. Пыляева, он «был видный и красивый молодой человек, офицер, живого и вспыльчивого характера, у последнего была дуэль с известным Толстым, прозванным «Американцем»; на этой дуэли Толстой убил Нарышкина. Убив Нарышкина, Толстой бежал из Москвы, долго путешествовал, был в Сибири, на Камчатке. Про него сказал Грибоедов:
Ф.И. Толстой был очень видный, красивый мужчина и большой кутила... Про него сказал кто-то в Москве: «Кажется, он довольно смугл и черноволос, а в сравнении с душою его покажется блондином».
Судьба свела осиротевшего отца и его обидчика. Толстой-Американец выступает посредником в сватовстве Пушкина, Нарышкина Гончаровы выбирают в качестве посаженного отца невесты.
«Сегодня свадьба Пушкина наконец, — пишет 18 февраля 1831 г. А.Я. Булгаков брату. — С его стороны посаженными Вяземский и графиня Потемкина, а со стороны невесты Ив.Ал. Нарышкин и А.П. Малиновская. Хотели венчать их в домовой церкви кн. Серг. Мих. Голицына, но Филарет не позволяет. Собирались его упрашивать; видно, в домовых нельзя...»
Занимало Москву и пророчество о будущем нарышкинской семьи, связанное с исчезновением хранившейся у них бороды известного юродивого времен Анны Иоанновны — Тимофея Архипыча. С незапамятных времен все повторяли его слова: «Нам, русским, не надобен хлеб: мы сами друг друга жрем и тем сыты бываем».