Née Caroline Stéphanie Félicité du Crest de Saint-Aubin, dans une famille de noblesse d'épée originaire de Bourgogne. Elle fut d'abord remarquée dans les salons pour ses talents de harpiste. Deux ans après son mariage avec le duc de Genlis, elle fut présentée à la Cour. Elle devint la dame de compagnie de la duchesse de Chartres, et la maîtresse du mari de celle-ci. Le duc de Chartres finit par la nommer "gouverneur" de ses enfants, qui la préféraient à leur propre mère, au nombre desquels Louis-Philippe, le futur roi des Français. Elle se fit connaître par ses principes sur l'éducation des jeunes gens et par de nombreux ouvrages littéraires. Elle fut l'amie de Rousseau, de Bernardin de Saint-Pierre, de Talleyrand, de Mme Récamier. Elle laissa une oeuvre abondante et des mémoires. Rimbaud cite son nom dans l'Album Zutique, Aux livres de chevet.