Durant l’hiver 1678, il éprouva quelques craintes. Un autre grand seigneur, le vicomte de Limoges, manifesta le désir d’épouser la jeune veuve. Le prétendant ne possédait pas, tant s’en faut, la fortune des Coligny, et même, il était plutôt désargenté, mais il était jeune, de tournure séduisante et terriblement amoureux. Conquise, Madame de Coligny promit sa main au jeune homme et l’on décida de se marier quand Limoges reviendrait de la guerre, car il était, lui aussi, officier.
Mais apparemment, la jolie Louise ne portait pas chance à ses amoureux car Limoges, lui aussi, resta sur un champ de bataille avant même d’avoir pu donner son nom à celle qu’il aimait.
La vérité oblige à dire que le futur beau-père, intensément soulagé, poussa un soupir de délivrance. Non seulement sa fille resterait auprès de lui mais il pourrait continuer à gérer les biens de son petit-fils, ce qui, vu l’état de sa propre fortune, n’était pas une si mauvaise chose.
Pensant que Louise devait être à tout jamais dégoûtée du mariage, il s’installa doucement dans l’idée qu’elle ne quitterait plus désormais son vieux père et, pour la distraire, ouvrit plus largement que jamais sa porte aux visiteurs de l’extérieur. Par cette porte si aimablement ouverte pénétra l’élégant Monsieur de La Rivière que notre châtelain reçut à bras ouverts sans se rendre compte un seul instant qu’il venait d’introduire le loup dans sa bergerie.
En fait, on n’a jamais très bien su qui était cet Henri-François de La Rivière qui débarqua à Bussy dans l’été 1679. Il se « flattait d’être marquis et flattait encore mieux les autres ». Autrefois aide de camp du duc de Beaufort pendant sa campagne contre les barbaresques, il avait connu, en Flandres, le défunt comte de Limoges et, s’autorisant de cette connaissance, La Rivière, que d’ailleurs Bussy avait vaguement rencontré à Paris jadis, vint, en voisin de campagne, visiter les reclus. Il séjournait en effet à Montbard, chez une soi-disant cousine, Madame Pot de Rochechouart, qui lui avait offert le gîte, le couvert (peut-être le reste !) et surtout la sécurité à un moment où il en avait le plus grand besoin.
Le beau « marquis » venait en effet d’échapper de justesse aux grands bras du lieutenant de police La Reynie et aux questions des juges de la Chambre ardente. Autrement dit, il trempait jusqu’au cou dans la redoutable affaire des Poisons, et voici comment.
C’était un homme qui cherchait à épouser une veuve riche, et après avoir séduit, puis délaissé Madame Du Castelier parce qu’elle n’était pas assez fortunée, il avait déchaîné une véritable passion chez une fort jolie femme, Madame de Poulaillon, qui, elle, n’était pas veuve mais mariée à un maître des eaux et forêts de Champagne beaucoup plus vieux qu’elle et fort riche.
Amoureuse au-delà de tout ce que l’on peut imaginer et décidée à tout pour garder un amant dont les besoins semblaient infinis, la petite Madame de Poulaillon commença par vendre tout ce qu’elle pouvait afin de donner de l’argent à La Rivière. Ses bijoux, les meubles précieux et jusqu’aux habits brodés du mari y passèrent puis, comme le beau « marquis » lui avait laissé entendre qu’il l’épouserait si elle devenait veuve, la pauvre sotte n’eut rien de plus pressé que se rendre chez une célèbre empoisonneuse, Marie Bosse, qui, moyennant la modeste somme de 4 000 livres, lui remit une fiole de poison et entreprit de préparer pour le pauvre Poulaillon une chemise empoisonnée dont le contact l’enverrait dans un monde meilleur avec autant de discrétion que de célérité.
Malheureusement pour les tendres amants, le mari fut prévenu et la jolie Madame de Poulaillon fut, un beau matin, arrêtée et conduite à la Bastille pour y attendre son jugement. Devant ce résultat imprévu, La Rivière préféra s’éloigner sur la pointe des pieds et vint demander à la campagne bourguignonne le silence et la discrétion. Le destin et sa belle mine allaient lui offrir une proie beaucoup plus intéressante que Madame de Poulaillon.
Bussy-Rabutin avait beau être homme d’esprit et posséder beaucoup de finesse, il n’en était pas moins l’homme du monde le plus facile à séduire pour peu que l’on eût belle mine, élégance, parole facile et brillante, quelque teinture de belles-lettres et quelque adresse au noble métier des armes. La Rivière avait tout cela. Il devint rapidement l’ami le plus cher de l’exilé.
Avec une extrême habileté, La Rivière sut à merveille se gagner les bonnes grâces de Bussy. Il l’encensait continuellement, admirait sans réserve ses œuvres, copiait même son style, s’exerçait à parler comme lui. Et quant à Louise, il lui témoignait une galanterie discrète mais apparemment efficace, quoique suffisamment assourdie pour ne pas éveiller les soupçons de son père.
L’aventurier réussit au-delà de ses espérances. Bientôt, on l’invita à venir s’installer au château, on ne se quitta plus, à la grande surprise des châteaux environnants, et même on voyagea ensemble : Madame de Coligny ayant à se rendre à Riom pour y plaider un procès, le trio inséparable s’y rendit en chœur.
C’est au cours de ce voyage que Louise fit comprendre à La Rivière qu’elle l’aimait. Ce fut la première des nombreuses lettres qu’elle devait lui adresser et qui peuvent compter très certainement parmi les plus belles du genre. Si belles même que Madame de Sévigné devait, plus tard, les surnommer des « Portugaises », par allusion aux célèbres et admirables lettres de Mariana Alcoforado, la Religieuse portugaise.
« J’aurais mieux réglé mes sentiments si je n’avais écouté mon cœur avant ma raison car enfin tout abandonnée que je suis à vous aimer, j’ai de cruels remords sur ce que je sais de vous. Vous avez aimé toute votre vie… Pour ce que je sens, je vous l’ai assez montré et je ne m’en dédirai jamais. Trop heureuse si, en vous donnant un cœur qui n’a jamais rien aimé que vous, je puis arrêter le vôtre pour le reste de ma vie. »
Lorsque l’on rentra en Bourgogne, La Rivière fit mine de vouloir « rentrer chez lui » mais Bussy, toujours aveugle et plus entiché que jamais de son ami, insista pour le retenir encore et Louise « s’abandonna à l’aimer éperdument ». Bientôt, elle se donna à lui et, dès lors, chaque soir, à l’heure que « Monsieur de Bussy donnait à sa santé », les deux amants se retrouvaient.
Mais ce que voulait La Rivière, c’était se faire épouser. Or, il n’ignorait pas à quel point son hôte tenait à son nom et à ses alliances. Son état civil à lui étant de plus incertain, il se rendait compte qu’il ne serait pas facile de se faire admettre après un Coligny et un Limoges. Il fallait, pour réussir, que Louise en vînt à un tel degré de passion qu’elle l’imposât à son redoutable père. Et, pour en arriver là, il feignit de s’éloigner après avoir ébauché un flirt avec une voisine, la comtesse de Trichateau. Le résultat ne se fit pas attendre.
La Rivière ne l’avait pas quittée depuis deux jours que Louise écrivait, avec son sang, cette promesse de mariage qu’elle lui envoyait aussitôt :
« Je, Louise-Françoise de Rabutin, promets et jure devant Dieu à Henri-François de La Rivière de l’épouser quand il lui plaira. En foi de quoi j’ai signé ceci du plus beau et du plus pur de mon sang. Fait ce dix-huitième octobre mille six cent soixante-dix-neuf… »
En outre, elle faisait acheter, non loin de Bussy-Rabutin, la terre et le château de Lanty afin d’y vivre avec « son cher enfant » après leur mariage.
Désormais sûr d’un amour qu’on ne lui reprendrait pas, La Rivière se risqua, dès son retour, à demander à Bussy la main de sa fille.
La première réaction parut favorable. La demande ne fut pas repoussée mais, visiblement, le comte était décontenancé. Il laissa tout de même entendre au candidat, pour lui inattendu, qu’il eût souhaité plus d’illustration dans l’homme qui souhaitait devenir son gendre. Que ne retournait-il à l’armée ? Il lui serait possible de se tailler, à cette époque, une principauté en Wurtemberg ?… Mais naturellement, La Rivière n’avait aucune envie de retourner à l’armée et il déclina bien poliment la proposition en laissant entendre qu’il lui serait désormais pénible de s’éloigner de celle qu’il aimait plus que tout.