Его личная жизнь в это время также изменилась, поскольку здесь Гаусс начал ухаживать за Иоганной Осггоф, на которой и женился в 1805 году. Дочь кожевника, Иоганна была на три года младше Гаусса, ее семья хорошо знала мать математика, которая работала на семью Остгофов. В детстве Карл Фридрих сам часто бывал в доме родственников своей будущей жены и после возвращения в Брауншвейг возобновил общение с ними. Так он познакомился с Иоганной.
Филдсовская премия — это высший знак отличия, который может получить математик. Она вручается Международным математическим союзом раз в четыре года и по значимости сопоставима с Нобелевской премией. Дело в том, что Нобелевской премии по математике не существует. Альфред Нобель исключил эту дисциплину из списка наук, за которые присуждается премия его имени. И хотя Нобелевский фонд имеет полномочия включать в список новые области (например, существует Нобелевская премия по экономике, учрежденная в 1969 году), он не может учредить премию по математике. Возможно, воля Нобеля связана с тем, что он не считал математику прикладной наукой. Однако существуют и другие объяснения: якобы это связано с обидой, которую учредитель премий испытывал к математическому сообществу, поскольку его супруга изменила ему со шведским математиком Густавом Миттаг-Леффлером (1846-1927). Эта версия очень распространена, но вряд ли она имеет под собой реальные основания, прежде всего потому, что Нобель никогда не был женат. Первая медаль Филдса была вручена в 1936 году, но из-за начала Второй мировой войны следующее награждение состоялось только в 1950 году. Официальное название премии — Международная медаль за выдающиеся открытия в математике (хотя она намного более известна как медаль Филдса). Награда названа так в честь математика Джона Чарльза Филдса (1863- 1932), который развил эту идею.
Главная особенность этой награды — требование, чтобы лауреат-математик был не старше 40 лет. Вручение происходит раз в четыре года. К медали прилагается денежная премия в размере около 10 тысяч евро, и это очень далеко от сумм Нобелевской премии. Лауреатов математической награды может быть до четырех, но так бывает очень редко. Медаль изготовлена из золота, ее эскиз был разработан Робертом Маккензи в 1933 году. На аверсе выгравирована голова древнегреческого математика Архимеда и надпись Transire suum pectus mundoque potiri («Превзойти человеческую ограниченность и покорить Вселенную»). На реверсе можно увидеть шар, вписанный в цилиндр, и надпись Congregati ex toto orbe mathematici ob scrita insignia tribuere («Математики, собравшиеся со всего света, вручили эту награду за выдающиеся труды»).
Нам мало что известно о жизни пары, поскольку Гаусс упоминает супругу только в письмах друзьям. Не осталось даже ее портрета, известно лишь, что дочь математика, Минна, была очень похожа на мать. В 1806 году в письме Вольфгангу Бойяи Гаусс описывает свою супругу как умную и нежную женщину, но получившую довольно скудное образование.
У четы Гауссов родилось двое детей: Иосиф и Минна, и ничто не нарушало их идиллию. Однако в конце 1809 года, менее чем через два года после переезда в Гёттинген, где Гаусс занял пост директора обсерватории, Иоганна родила третьего ребенка и через месяц после родов умерла. Мальчик — бедный Луи, как называл его отец, — через несколько месяцев последовал за своей матерью, и безутешный Гаусс погрузился в депрессию. Ученый был довольно счастлив в первом браке; за год до смерти Иоганны он так описывал свою семейную жизнь в письме к Бойяи:
«Дни счастливо бегут однообразным ходом нашей домашней жизни: когда у девочки вылезает новый зуб или мальчик выучивает новые слова, это важнее, чем открытие новой звезды или новой математической истины».
Гаусс был не очень практичным человеком и в положении вдовца столкнулся с рядом бытовых проблем. Так что через несколько месяцев после смерти Луи он заключил брак с Вильгельминой (Минной) Вальдек, дочерью преподавателя права в университете. Минна Вальдек была подругой Иоганны Гаусс, но насколько тесной была эта дружба, неизвестно. Гаусс сделал Минне предложение через некоторое время после того, как она по неизвестным причинам расторгла свой брак. Свадьба состоялась довольно быстро, но семейная жизнь не была безоблачной. Супруги не испытывали друг к другу особой привязанности, и этот союз скорее был продиктован желанием Гаусса забыть о смерти Иоганны и подыскать для детей новую мать. Этот скоропалительный второй брак не очень нравился самому математику, который чувствовал себя неловко. Дошедшие до нас письма, которыми обменивались супруги, довольно холодны и безэмоциональны.