После падения Империи Франсуа Бодлер оставил свою должность в Сенате, а вместе с ней и апартаменты в Люксембургском дворце, ушел в отставку и принялся заниматься живописью ради одного только удовольствия находить все новые и новые сочетания красок. Теперь вместе с сыном Альфонсом он проживал на улице Отфёй в доме 13 с фасадом, украшенным башенкой. И продолжал регулярно посещать семью Периньон. С годами он все больше подпадал под очарование юной Каролины. Иногда ему приходило в голову, что если бы не его шестьдесят годков да не утрата всех жизненных иллюзий, то он, может быть, и решился бы просить руки двадцатипятилетней девушки. В течение некоторого времени он отгонял эту мысль как совершенно абсурдную. А потом внезапно решился. И, к великому своему изумлению, получил согласие. В самом деле, озабоченный прежде всего тем, как бы пристроить свою воспитанницу, Пьер Периньон не увидел ничего предосудительного в том, чтобы уложить невинную девушку в постель к старику, к тому же лучшему другу семьи. А юная девственница, по тем временам уже очень и очень взрослая, с гордостью сменила надоевшее звание «мадемуазель» на важное и представительное «мадам». Брачный контракт подписали 6 сентября 1819 года в доме в Отёе, а 9 сентября Франсуа и Каролина зарегистрировали свой брак в одиннадцатой мэрии Парижа, на улице Гарансьер, 10.
Это вторжение молодости в жизнь безутешного вдовца пробудило пылкость Франсуа Бодлера. Не прошло и года после свадьбы, как жена забеременела. Весьма гордый этим своим подвигом, он с нетерпением ожидал начала новой жизни. Радость его достигла апогея, когда 9 апреля 1821 года Каролина родила ему сына, Шарля-Пьера. В четверг, 7 июня, младенца крестили в церкви Сен-Сюльпис. Крестными стали, естественно, г-н и г-жа Периньон. Они поставили свои подписи в церковной книге рядом с подписью отца, Франсуа Бодлера, начертавшего в графе, где требовалось указать профессию, — «художник».
И действительно, его страсть к живописи все усиливалась. Квартиру на улице Отфёй украсили как собственные его картины, написанные гуашью, пастелью и маслом, так и статуи или слепки, выполненные скульпторами того времени. Мебель он подобрал строго из эпохи Людовика XVI, повсюду расставил разные художественные поделки. Из приличия супруги обзавелись отдельными спальнями. В спальне Каролины — мебель из красного дерева и черешни, много старинной керамики. Спальня Франсуа служила ему одновременно и библиотекой, и кабинетом. Детская выходила окнами в сад, а комната Альфонса — во двор.
Когда Шарль еще пешком под стол ходил, Альфонс уже учился на юридическом факультете. В 1824 году он получил диплом лиценциата, а на следующий год начал работать адвокатом, мечтая стать со временем судьей. Отношения с мачехой у него сложились вполне доброжелательные, и к своему сводному братишке он не питал никаких враждебных чувств. Эту счастливую семью обслуживали две служанки. Утомленный возрастом Франсуа Бодлер мало бывал в свете, отчего и жена его свыклась с сидячим, даже затворническим образом жизни. Каролина научилась сдерживать свои порывы, живя рядом с мужем, который был старше ее на целых тридцать четыре года. Ведь замуж она вышла, руководствуясь чувствами благодарности и смирения. Вся ее радость состояла в том, чтобы любоваться маленьким Шарлем, восторгаться его улыбками, капризами, первым лепетом. Не оттого ли, что отец у него оказался преклонного возраста, мальчик рос и умненьким, и шумливым, и очень легко возбудимым? Из-за пустяка он приходил в восторг, а то и испытывал первые приступы гнева.