В пору молодости Рыбникова ходили некие слухи о его многочисленных амурных похождениях. Однако сама Ларионова на этот счет категорически заявляла: «Коля был однолюб. И точно знаю, что в личной жизни я была его единственной женщиной».
Вспоминает С. Павлова: «Алла, мне казалось, недостаточно ценила Колю. Он же к ней был беспредельно великодушен, заранее все прощал. Я однажды сказала ему: „Хватит тебе Алку терпеть! Мой тебе женский совет: не поночуй хотя бы раз дома. Пусть попереживает, ей же на пользу“. Мы вошли в сговор, и я устроила ему эту „ночевку“. Она тут же позвонила, видимо, не спалось: „Коля ночевать не пришел! Ты не знаешь, у кого он может быть?“ Я, конечно, „не знала“. А Коля тоже, видимо, плохо спал: явился утром домой, выдал свою „явку“ и вообще все честно рассказал. Всем нам оставалось только посмеяться над этой историей».
Судя по всему, в семейном тандеме Рыбников — Ларионова первый любил, а вторая позволяла себя любить. О том, до какой степени Рыбников обожал свою супругу, говорит хотя бы такой эпизод. Однажды он играл дома в шахматы со своим приятелем Олегом Чертовым. Вдруг позвонила Алла, которая была на съемках в Киеве. Она сообщила, что завтра прилетает в Москву, и просила подготовиться к ее приезду. После ее звонка Рыбников заметно повеселел. А потом внезапно прервал игру и заявил: «Я так люблю Алку! Я не могу без нее. Я, пожалуй, полечу в Киев». У приятеля даже челюсть отвисла: «Какой Киев? Она же завтра сама прилетает». — «До завтра я не доживу», — последовал ответ. В итоге Рыбников позвонил во Внуково и, назвавшись, договорился о том, что ему оставят один билет на ближайший рейс до Киева. А теперь представьте себе лицо Ларионовой, когда поздней ночью она увидела на пороге своего гостиничного номера собственного мужа!..
В начале 70-х, когда обе их дочери подросли, супруги решили вновь поменять жилплощадь. И хотя к своим соседям по актерскому дому у метро «Аэропорт» они уже успели прикипеть всей душой, переезд все-таки состоялся. Рыбников и Ларионова купили сдвоенную пятикомнатную квартиру в новом доме в Марьиной Роще (вместе с ними туда переехала и мама Аллы). Квартира на восьмом этаже была шикарная: площадью около ста метров, да еще и с камином, которым хозяева очень гордились. Правда, однажды он чуть не стал причиной ЧП. Николай решил приготовить шашлыки и использовал под это дело домашний камин. Однако развел слишком большой огонь, вследствие чего из трубы повалил густой черный дым. Соседи, увидев это, оперативно позвонили по «01». Пожарные примчались тут же. Каково же было их удивление, когда дверь им открыл Николай Рыбников и сообщил, что… готовит шашлыки.
О том, каким был ее муж в быту, рассказывает Алла Ларионова:
«В своей жизни я вообще не знала, что такое варить борщ, запекать мясо, не знала, сколько стоят продукты. Всем этим с огромным удовольствием занимался Коля. Он сам все покупал и сам готовил.
Когда мы поженились, я сказала: „Коля! Давай договоримся, что все твои рубашки будем сдавать в прачечную, даже если у нас с тобой останутся последние пять рублей. Я стирать не умею. Мне это не дано“. Он ответил: „Хорошо!“ И всю жизнь, клянусь вам, Коля никогда мне претензий не высказывал. Единственный раз я постирала ему рубашку, когда он срочно улетал в Америку…
Коля очень любил праздники. Мы обязательно отмечали день свадьбы и дни рождения всей семьи, именины. И перед каждым праздником Коля просил достать из „сундуков“ какой-нибудь дешевый ситчик, и мы вместе с ним шили кучу фартуков — штук по десять. А потом готовили стол и приглашали гостей. Особенно здорово было, когда мы вместе пельмени лепили…
Кто у нас дома только не бывал! И космонавты, и певцы, и поэты, и хоккеисты, и шахматисты. Коля ведь неистово увлекался шахматами и все время норовил обыграть то Ефима Геллера, то Михаила Таля. Таким мастерам он, конечно, проигрывал и сильно из-за этого переживал. Но на следующий день шахматные баталии повторялись. Причем параллельно с мужским клубом образовался женский — жены шахматистов и я до поздней ночи играли в покер, пока наши мужья не уставали от шахмат окончательно.
Однажды произошел забавный случай. Заехал к нам Ефим Геллер. Коля, зная, что Борис Спасский на сборах в Дубне, предложил Геллеру сыграть (за него) с Борисом по телефону, но так, чтобы тот не понял подвоха и не заподозрил, с кем играет. Не поленился, позвонил в Дубну и уговорил Спасского начать партию. Геллер находился рядом. Прошло пять минут. Соперники сделали по десять ходов, после чего Спасский сообразил, кто против него сражается, и потребовал: „Слушай, Коля, передай-ка трубку Ефиму!“»