17 ноября 1884 года в мэрии официально зарегистрировали брак между Альбером и Жанной на радость невесте и всем родственникам. Даже родители Альбера прибыли в Курпьер поздравить беспутного сына. У них в начале всех приключений, в 1882 году, родился девятнадцатый ребенок — сестричка Альбера Адриенна. Именно она станет Габриэль лучшей подругой на всю жизнь. На первый взгляд все складывалось как нельзя лучше: Жанна с детьми живет в официальном браке, в хорошем доме, а Альбер имеет после заключения брака кругленькую сумму. Если бы не полное его неумение заключать финансовые сделки, они могли бы жить пусть не припеваючи, но вполне прилично (особенно в сравнении с предыдущими двумя годами). Желание Альбера приумножить капитал, полученный в качестве приданого, привело к полному краху. Он пытался покупать акции, начать собственное дело, но его постоянно обманывали, вложенные деньги не окупали себя, акции оказывались не более чем обычными бумажками. В конце концов буквально через год Альбер снова пустился в путешествие с повозкой, полной товаров для ярмарок. Он переезжал с места на место, не изменяя своей привычке хорошо пить и закусывать, болтать с такими же бродягами, как он, соблазнять женщин. Ничто его не сдерживало, никто за ним не следил, жизнь вернулась в прежнее русло. Одно изменилось — теперь у Альбера была жена. Приходилось возвращаться к ней и делиться планами. Более того, в Курпьере еще и родственнички Жанны постоянно следили за беспутным зятем. Чтобы поменьше с ними общаться, Альбер все-таки нашел для своего семейства новое место жительства. Переехать он решил в Иссуар, старинный городок с постоянно проводимыми по выходным ярмарками.
Те немногие деньги, которые зарабатывал Альбер, он тратил в основном на себя. Семье пришлось ютиться в совсем уж скромных условиях: и район для нищих, и смрад помоек, и невыносимый запах, который шел от кожевенных цехов, и сырость от реки, цвет которой из-за кожевенного производства стал ржавым. Уже тогда Жанне не следовало переезжать в такое место — у нее появились и астма, из-за которой в свое время умерла ее мать, и первые признаки туберкулеза. Последнее являлось в то время чуть не главной причиной смерти бедняков, и мать Габриэль она не миновала. Но до печального финала оставалось еще несколько мучительных лет. Буквально год спустя после свадьбы у Жанны родился сын, ведь несмотря на частые отлучки Альбер всегда выполнял свой супружеский долг, находясь дома. Адриен Альфонс (так нарекли третьего младенца) появился на свет в марте 1885 года, и можно легко себе представить, насколько тяжело приходилось Жанне во время беременности. Жюли исполнилось три годика, Габриэль — два. На протяжении зимы в Иссуаре стояла отвратительная погода с постоянными дождями, влажностью и промозглыми ветрами. Перестать работать Жанна не могла, поэтому продолжала шить, стирать и убираться, обслуживая и клиентов побогаче, и — по доброте душевной — бедняков-соседей, которые частенько просили ее починить старую одежду.
Еще через два года, 14 июня 1887 года, несчастная Жанна разродилась четвертым ребенком — Антуанеттой. Здоровье ее было окончательно подорвано. Она не только упорно трудилась, дабы внести посильный вклад в бюджет семьи (важно отметить, что у Жанны и детей во время отсутствия Альбера не оставалось никаких средств к существованию), но и часто ездила вместе с мужем по ярмаркам, пытаясь таким образом следить за ним. Жанна становилась все более ревнивой. Видимо, состояние ее здоровья сказалось и на психике: она параноидально следовала за Альбером, несмотря на погоду, наличие очередной беременности или крошечного младенца. Причин не доверять Альберу у жены хватало, но здравый смысл ей тоже стал отказывать.
Врачи подтверждают: приступы, которыми сопровождаются астма и туберкулез, часто ведут к целому комплексу психологических проблем. Они включают в себя страх перед неконтролируемой болезнью, чувство вины, неполноценности, депрессию. Альбер, конечно, замечал состояние жены. В 1887 году после рождения четвертого ребенка он даже принял решение отправить семью обратно в Курпьер. Казалось бы, такое решение должно было устроить всех, включая Жанну. Альбер сам сбагривал ее и детей под опеку родни, а климат родных мест явно подходил ей больше, чем сырость Иссуара. К тому же финансовое положение семьи пусть незначительно, но улучшалось из-за отсутствия необходимости платить за жилье (планировалось, что семья будет продолжать жить в сельском доме дяди Жанны). И детям на свежем воздухе, в просторном доме, само собой, было раздолье. Никто не ожидал от Жанны, которая безумно ревновала мужа и боялась его потерять, маниакального желания следовать за Альбером в его поездках. Ее не останавливали ни холод, от которого некуда было спрятаться в повозке зимой и куда забирался снег и ветер, ни работа за прилавком на рынке, где ей приходилось помогать мужу, проводя целый день на ногах, не имея ни минуты на нормальный отдых.