Ces années de bonheur se terminèrent tôt, car la santé de Madame Mahé s’étant détériorée on jugea bon de me confier à sa fille, Dame de Tous les Saints, religieuse au couvent des Ursulines à Dinan. Ma vie alors changea du tout au tout à l’âge de neuf ans. J’avais grandi librement dans la chaleur d’un foyer, au milieu de femmes qui me choyaient et s’amusaient de ma compagnie, m’habillant comme une poupée, et me donnaient des douceurs sucrées que mon père faisait venir de ses propriétés des îles. Je n’avais manqué de rien. Je me retrouvai tout d’un coup dans la pénombre froide d’un couvent, au milieu de filles orphelines, sous la coupe des sœurs vêtues de noir qui au début me remplissaient de terreur. Dame de Tous les Saints n’avait pas la tendresse indulgente de ma grand-mère. Elle était grande et sèche, le teint cireux, et elle exerçait une autorité sans faille sur la communauté. Elle ne manifesta aucun sentiment à mon égard, bien que je fusse sa nièce, ni affection ni hostilité. Pour elle j’étais une orpheline comme les autres. Nous étions vêtues d’une robe de laine grise, coiffées d’un bonnet, chaussées de galoches en bois. Il ne fut plus question pour moi de lire ou de m’instruire. Les journées au couvent étaient consacrées aux prières et aux tâches ménagères. Je fus affectée à l’atelier de couture, peut-être parce que ma mère, esclave à l’île de France, était lingère. Là, dans la salle commune chauffée par un poêle, les filles passaient le temps à coudre, tailler le tissu, repriser pour le bénéfice du couvent qui fournissait les principaux ateliers de la ville. Le but était de préparer les orphelines (dont j’étais en dépit de mon origine) au métier qui leur permettrait de vivre. La réalité fut autre, car l’ombre et le froid de la salle de couture furent sans doute la cause de la maladie des yeux qui m’affecte aujourd’hui et me condamne à la mendicité. J’eus peu d’amies d’infortune : la règle du couvent empêchait tout commerce, et les bavardages ordinaires des filles de cet âge étaient sévèrement punis par des privations et parfois par des coups de verge sur les jambes. Ma seule amitié fut avec une jeune fille de la campagne, Bretonne ignorant le français, à qui j’enseignai les rudiments de notre langue. Elle s’appelait Suzanne, c’est-à-dire Soazig dans son patois, et nous étions voisines de lit dans le dortoir. Lit étant un bien grand mot car nous couchions sur des paillasses à même la dalle. Les années passèrent ainsi dans ce confinement, années pendant lesquelles les enfants s’éveillent à la vie et découvrent les émotions, et que les orphelines du couvent vécurent enfermées, dans le dénuement et la peur, tenaillées par la faim, engourdies par le froid. Lorsque j’eus quatorze ans, ou à peu près, car j’ai toujours ignoré la date exacte de ma naissance, n’ayant aucun document écrit ni à l’île de France ni à Saint-Malo, il advint que mon père mourut. J’en reçus la nouvelle au mois de novembre 1753, de la bouche même de Dame de Tous les Saints, que je n’ai jamais osé appeler ma tante, bien qu’elle le fût en vérité. La situation de la nouvelle famille de mon père s’aggrava, Madame Charlotte Élisabeth Combault, qu’il avait épousée un an après ma naissance, se trouva brutalement ruinée par la faute du tuteur de ses enfants, lequel vola son argent et se réfugia à l’étranger. Il en résulta que la pension que mon père avait versée jusque-là pour mon entretien au couvent prit fin, et pour cela je dus faire mon paquet et partir pour Paris, aux bons soins de Dame Berthe Tabary, cousine germaine de feu mon père, qui me reçut quelque temps chez elle avant de me placer à l’institution des pauvresses, les Filles de Saint-Thomas à Saint-Germain-en-Laye. Mon départ de Dinan fut la seule occasion de ma vie où quelqu’un pleura pour moi : je quittai Soazig, ma compagne d’infortune, sachant que nous ne devions plus nous revoir. C’est alors que j’entrai dans cette maison qui fut l’antichambre de ma déchéance, car la Maison des Filles de Saint-Thomas accueillait ce qu’il y avait de pire et de plus désespéré chez les femmes, où se rencontraient dans la même chambrée les malades, les démentes et même les filles de mauvaise vie et les meurtrières. Par cette même Dame Tabary j’appris la ruine de la famille de mon père, la vente forcée de ses biens, dont le château de Boissy-Saint-Léger, et que la volonté qu’il avait manifestée de me verser huit cents livres de pension ne pourrait pas être respectée. Ainsi je me retrouvai, à l’âge où une fille peut espérer se marier et fonder un foyer, prisonnière d’une institution pour filles perdues, moi qui n’avais commis d’autre crime que d’être née illégitime d’un père illustre. Mais dans mon malheur je réfléchis que je fus sans doute plus fortunée que ma mère, qui resta esclave dans son île, et à qui je fus arrachée sans dédommagement. Du moins pouvais-je porter le nom respecté de Mahé, alors qu’elle n’eut jamais de nom. C’est à cette époque que j’appris l’existence en France d’un demi-frère, nommé Jean Jacques Santerre, comme moi fils illégitime de La Bourdonnais, mais je ne pus jamais savoir où il était, ni qui était sa mère. Une nuit, je rêvai que j’allais jusqu’à mon île natale, et que j’y étais accueillie par ma mère et par tous ses enfants, que nous nous embrassions en pleurant, et que nous nous promettions de ne plus jamais être séparés quoi qu’il arrive. Mais ce rêve unique ne se réalisa pas. L’île était trop loin, de plus je compris en y réfléchissant que ma mère était sans doute déjà décédée, à la suite d’une vie de travail et de mauvais traitements, et que ses enfants avaient dû être revendus plusieurs fois, et que de toute façon je ne connaissais pas leurs noms. Ce rêve me laissa quelque temps dans un sentiment de tristesse que je ne pouvais surmonter. Je cessai de me nourrir, et ma santé défaillante m’entraînait lentement vers la mort. Seule ma foi en Dieu et le souvenir des bontés que ma grand-mère Mahé avait eues pour moi m’aidèrent à vivre.
Alors je voulus échapper à ma destinée. Les années d’enfance à Saint-Malo auprès de ma grand-mère puis celles dans le couvent des Ursulines avaient formé mon caractère. Je tentai de combattre le mauvais sort. La plupart des filles de Saint-Thomas étaient illettrées et ignorantes. Je pus obtenir du papier et une plume et j’écrivis la première d’une longue série de lettres que j’adressai d’abord à Madame Élisabeth Combault, la seconde femme de mon père, en omettant de mentionner ma parenté, pour la prier de respecter l’engagement pris par mon père et de verser l’argent nécessaire à ma survie. J’adressai ces lettres à la rue d’Enfer à Paris où cette personne résidait avec ses enfants. Les reçut-elle, je l’ignore, mais je n’eus aucune réponse à mes demandes. La vie à la Maison des Filles de Saint-Thomas devint insupportable, car, dans leur malheur, les prisonnières n’avaient pas oublié leur méchanceté instinctive, et percevant en moi ce qui était différent par l’éducation, elles me harcelaient, m’appelant négresse, négrite, ou parfois putain des îles, et me tourmentaient par des coups ou des quolibets, me volant mes habits et le peu de nourriture dont je disposais. J’essayai de m’en plaindre, adressant des mots à Dame Tabary, mais cette dernière m’avait abandonnée à mon sort, comme si la mort de mon père et la ruine de sa famille m’avaient effacée à tout jamais de la terre. Dans ces moments de désespoir je mesurai l’abîme qui sépare une fille à la peau noire de l’homme qui l’a engendrée et lui a donné son nom, l’homme qui fut en son temps le plus respecté et le plus puissant des gouverneurs du royaume.