Красота Натальи Ивановны заблистала при дворе. О ней говорили, о знакомстве с нею мечтали. В нее влюбился кавалергард А. Я. Охотников, фаворит императрицы. От него у императрицы была дочь, не дожившая и до трех лет. В октябре 1806 года человек, подосланный якобы великим князем Константином Павловичем, смертельно ранил Охотникова при выходе из театра, и в январе 1807 года он умер.
Скорее всего, для того чтобы замять эту историю, Наталью Ивановну выдали замуж за Николая Афанасьевича Гончарова, который был чрезвычайно счастлив происшедшим, потому что, как упоминалось, был сильно влюблен в свою избранницу.
Венчание фрейлин, по обычаю, совершалось в Дворцовой церкви. Не была исключением и эта свадьба. В камер-фурьерском журнале матери Александра I императрицы Марии Федоровны есть запись, датированная 27 января 1807 года, в которой подробно описывается бракосочетание Натальи Ивановны и Николая Афанасьевича. По странному совпадению, ровно через тридцать лет, 27 января 1837 года, муж их дочери Натальи Николаевны стрелялся на дуэли, отстаивая «честь жены», и получил смертельную рану…
На венчании присутствовала вся царская фамилия: император Александр I, императрица Елизавета Алексеевна, вдовствующая императрица, супруга Павла I Мария Федоровна, великие князья Михаил и Николай — будущий император Николай I, великие княжны Екатерина и Анна. Без сомнения, почитаемы были роды Загряжских и Гончаровых за их заслуги перед отечеством. Самодержец российский молился пред алтарем за новобрачных — поистине великая честь!
Перед венчанием Наталью Ивановну препроводили во внутренние покои к государыне императрице Марии Федоровне, где она «убираема была бриллиантовыми к венцу наколками».
Много уже говорено о красоте Натальи Ивановны, но и ее супруг, Николай Афанасьевич, был под стать ей. Высокий, стройный, с классически правильными чертами лица, богато одаренный природой, с детства окруженный самыми нежными заботами, он рос единственным ребенком в семье. По повелению императрицы Екатерины с самого рождения Николая зачислили капралом в конный полк. Эта монаршая милость пришлась не по вкусу матери, которая считала, что единственный наследник крупного майората не может подвергаться тягостям и лишениям военной службы. Тщетно стремился Николай Афанасьевич к военной карьере — мать выказала непреклонность. Это противодействие задушевным внутренним порывам молодого человека оставило горький след в его жизни. Однако мать приложила все старание, чтобы сын получил домашнее образование на уровне самых высоких требований того времени.
В 1808 году Николай Афанасьевич получил чин коллежского асессора, перевелся в Москву и поступил на должность секретаря московского губернатора. Медовый месяц и первые годы протекли для четы Гончаровых в упоении любви и радостях начинающейся супружеской жизни. Но постепенно тучи стали появляться на этом безоблачном небосклоне… Отец Афанасий Николаевич «хозяйничал» в Полотняном Заводе. Он всячески отдалял своего сына от дел, скрывая свои безумные любовные траты. Молодой человек свято верил в неприкосновенность гончаровских миллионов до той минуты, когда старик, потеряв спокойствие ввиду приближения грозной катастрофы, не открыл ему неутешительную правду. По своему обычаю, не задумываясь о последствиях, Афанасий Николаевич свалил тяжелую ношу запутанных дел и подорванного кредита на неопытные плечи наследника и укатил на несколько лет за границу.
Николай Афанасьевич без сожаления отказался от праздной московской жизни, переселился с семьей в Полотняный Завод и с неутомимой энергией принялся наводить порядок. Беззастенчивое растаскивание барского добра прекратилось, под зорким хозяйским оком снова заработали фабрики. За пять лет упорного труда Николаю Афанасьевичу удалось заделать прорехи. Сын высылал отцу крупные суммы, стараясь удерживать его тем самым за границей. В 1811 году Николай Афанасьевич был награжден орденом Владимира IV степени «за приведение к должному устройству и усовершенствованию состояния в Калужской губернии фабрики полотняной и писчей бумаги».
Но тут наступил 1812 год: наполеоновская война нарушила мир в Европе. Французы близко подошли к гончаровским владениям. В Полотняном Заводе некоторое время стоял со своим штабом фельдмаршал Кутузов. Комнаты, в которых он жил, сделались исторической реликвией и стали называться кутузовскими. Можно себе представить, сколько пищи для детской фантазии маленьких Гончаровых дал этот факт столь близкого соприкосновения с судьбами отечества. Увы! Хранимый от французов, дом этот подвергся опустошительному нашествию собственного «иностранца». Афанасий Николаевич в самом начале войны сумел пробраться через границу и вернуться в Завод. Он привез с собой очередную любовницу — мадам Бабетт и стал требовать, чтобы ей оказывали знаки внимания, положенные хозяйке дома. Этим событием чрезвычайно осложнились семейные отношения.